Ignoring non‐English‐language studies may bias ecological meta‐analyses

Abstract

Meta‐analysis plays a crucial role in syntheses of quantitative evidence in ecology and biodiversity conservation. The reliability of estimates in meta‐analyses strongly depends on unbiased sampling of primary studies. Although earlier studies have explored potential biases in ecological meta‐analyses, biases in reported statistical results and associated study characteristics published in different languages have never been tested in environmental sciences. We address this knowledge gap by systematically searching published meta‐analyses and comparing effect‐size estimates between English‐ and Japanese‐language studies included in existing meta‐analyses. Of the 40 published ecological meta‐analysis articles authored by those affiliated to Japanese institutions, we find that three meta‐analysis articles searched for studies in the two languages and involved sufficient numbers of English‐ and Japanese‐language studies, resulting in four eligible meta‐analyses (i.e., four meta‐analyses conducted in the three meta‐analysis articles). In two of the four, effect sizes differ significantly between the English‐ and Japanese‐language studies included in the meta‐analyses, causing considerable changes in overall mean effect sizes and even their direction when Japanese‐language studies are excluded. The observed differences in effect sizes are likely attributable to systematic differences in reported statistical results and associated study characteristics, particularly taxa and ecosystems, between English‐ and Japanese‐language studies. Despite being based on a small sample size, our findings suggest that ignoring non‐English‐language studies may bias outcomes of ecological meta‐analyses, due to systematic differences in study characteristics and effect‐size estimates between English‐ and non‐English languages. We provide a list of actions that meta‐analysts could take in the future to reduce the risk of language bias.

Abstract

Ignoring non‐English‐language literature may bias outcomes of ecological meta‐analyses, due to systematic differences in effect sizes between studies published in English and non‐English languages.

摘要

元分析在生态学和生物多样性保护定量证据的合成中起着至关重要的作用。元分析中估计的可靠性在很大程度上取决于对初级研究的公正抽样。虽然早期的研究已经探索了生态元分析的潜在偏差，但以不同语言发表的报告的统计结果和相关研究特征的偏差从未在环境科学中测试过。我们通过系统地搜索已发布的元分析，并比较现有元分析中包含的英语和日语研究之间的效应量估计值，来解决这种知识差距。在由日本研究机构下属机构撰写的40篇已发表的生态元分析文章中，我们发现有三篇元分析文章搜索了这两种语言的研究，涉及足够数量的英语和日语研究，产生了4个合资格的元分析（即三篇元分析文章中进行的四个元分析）。在这四个元分析的两个中，元分析中所包含的英语和日语研究之间的效应量差别很大，在排除日语研究时，导致总体平均效应量甚至其走向发生显著变化。观察到的效应量差异可能归因于英语和日语研究之间报告的统计结果以及相关研究特征，特别是分类和生态系统的系统性差异。尽管基于较小的样本量，我们的发现表明，由于英语和非英语语言之间在研究特征和效应量估计方面存在着系统性差异，因而忽视非英语研究可能会使生态元分析的结果有偏差。我们提供了一份元分析人员将来可能采取的一些行动的列表，以降低语言偏差的风险。

Résumé

La méta‐analyse joue un rôle essentiel dans les synthèses de preuves quantitatives en écologie et en conservation de la biodiversité. La fiabilité des estimations dans les méta‐analyses dépend fortement d’un échantillonnage non biaisé des études primaires. Bien que des études antérieures aient examiné les biais potentiels dans les méta‐analyses écologiques, les biais n’ont jamais été mis à l’épreuve dans les sciences de l’environnement lors de publications dans différentes langues de résultats statistiques enregistrés et de caractéristiques des études associées. Nous abordons cette lacune dans les connaissances en recherchant de manière systématique des méta‐analyses publiées et en comparant les estimations d’ampleur de l’effet entre des études en anglais et en japonais figurant dans les méta‐analyses existantes. Sur 40 articles publiés de méta‐analyse écologique dont les auteurs sont affiliés à des institutions japonaises, nous trouvons que trois articles de méta‐analyse ont recherché des études dans les deux langues et ont mis en jeu des nombres suffisants d’études en anglais et en japonais, avec pour résultat quatre méta‐analyses admissibles (c.‐à‐d. quatre méta‐analyses effectuées dans les trois articles de méta‐analyse). Dans deux de ces quatre cas, les ampleurs de l’effet diffèrent de façon significative entre les études en japonais et en anglais comprises dans les méta‐analyses, ce qui provoque des changements considérables dans les ampleurs moyennes globales de l’effet et même dans leur direction lorsque les études en japonais sont exclues. On peut probablement attribuer les différences observées dans les ampleurs de l’effet entre les études en japonais et en anglais, en particulier en ce qui concerne les taxons et les écosystèmes, aux différences systématiques dans les résultats statistiques enregistrés, de même que dans les caractéristiques des études associées. Bien que basés sur un échantillon de petite taille, nos résultats suggèrent que le fait d’ignorer les études non anglophones peut biaiser les résultats de méta‐analyses écologiques en raison des différences systématiques dans les caractéristiques d’étude et les estimations d’ampleur de l’effet entre langue anglaise et langues non anglophones. Nous proposons une liste de mesures qui pourraient être adoptées à l’avenir dans les méta‐analyses pour réduire le risque de biais linguistique.

要旨

メタ分析は、生態学や生物多様性保全における定量的エビデンスの統合において重要な役割を果たしている。メタ分析における推定値の信頼性は、偏りのない一次研究の収集に大きく依存する。生態学におけるメタ分析で生じる様々なバイアスの可能性はこれまでの研究でも検討されてきたが、異なる言語で発表される統計結果や研究の特性にバイアスが存在するかどうかは、環境科学の分野では検証されたことがなかった。そこで本研究では、既存のメタ分析を系統的に検索し、そこで利用されている英語で発表された研究と日本語で発表された研究の間で効果サイズの推定値を比較した。日本の研究機関に所属する研究者が執筆した40の生態学におけるメタ分析論文のうち、3つのメタ分析論文のみが一次研究を2言語で検索し、その結果十分な数の英語研究と日本語研究を解析の対象としていた。そこで本研究では、この3つのメタ分析論文に含まれた4つのメタ分析を対象として用いた。4つのうち2つのメタ分析では、利用された英語研究と日本語研究で効果サイズが大きく異なり、日本語研究を除外した場合には、全体の平均効果サイズやその方向性までもが大きく変化することが明らかになった。このような効果サイズの違いは、英語研究と日本語研究で報告された統計結果や研究の特性（特に分類や生態系）が系統的に異なることに起因している可能性が高い。本研究では多くのメタ分析を対象にすることはできなかったものの、ここで得られた知見は、異なる言語で発表された研究間でその特性や効果サイズの推定値に系統的な違いがあるため、英語以外の研究を除外すると生態学におけるメタ分析の結果にバイアスが生じる可能性があることを示唆している。最後に、このようなメタ分析における言語バイアスのリスクを軽減するために有効であると考えられる対策についても提案を行う。

Resumo

A metanálise desempenha um papel crucial na síntese de evidências quantitativas na ecologia e conservação da biodiversidade. A confiabilidade das estimativas nas metanálises depende fortemente da amostragem imparcial de estudos primários. Embora estudos anteriores tenham explorado possíveis vieses em metanálises ecológicas, os vieses nos resultados estatísticos relatados e características de estudos associados publicados em diferentes idiomas nunca foram testados em ciências ambientais. Abordamos essa lacuna de conhecimento pesquisando sistematicamente metanálises publicadas e comparando estimativas de tamanho de efeito entre os estudos em inglês e japonês incluídos nas metanálises existentes. Dos 40 artigos de metanálise ecológica publicados por autores filiados a instituições japonesas, descobrimos que três artigos de metanálise pesquisaram estudos nos dois idiomas e envolveram um número suficiente de estudos em inglês e japonês, resultando em quatro metanálises elegíveis (ou seja, quatro metanálises realizadas nos três artigos de metanálise). Em duas das quatro metanálises, os tamanhos de efeito diferem significativamente entre os estudos em inglês e japonês incluídos nas metanálises, causando mudanças consideráveis nos tamanhos de efeito médios em geral e até mesmo na sua direção quando os estudos em japonês são excluídos. As diferenças observadas nos tamanhos de efeito provavelmente são atribuíveis a diferenças sistemáticas nos resultados estatísticos relatados, bem como às características de estudos associados, particularmente táxons e ecossistemas, entre estudos em inglês e japonês. Embora baseados em um pequeno tamanho amostral, nossos resultados sugerem que ignorar estudos que não sejam em inglês pode influenciar os resultados de metanálises ecológicas, devido a diferenças sistemáticas nas características dos estudos e estimativas de tamanho de efeito entre o idioma inglês e o não‐inglês. Fornecemos uma lista de medidas que metanalistas podem adotar no futuro para reduzir o risco de viés de idioma.

Resumen

El meta‐análisis juega un papel crucial en la síntesis de evidencia cuantitativa en ecología y conservación de la biodiversidad. La fiabilidad de las estimaciones en los meta‐análisis depende en gran medida del muestreo imparcial de los estudios primarios. A pesar de que estudios previos han explorado posibles sesgos en meta‐análisis ecológicos, sesgos en resultados estadísticos y características asociadas al estudio publicados en diferentes idiomas nunca han sido comprobados en ciencias ambientales. Abordamos esta brecha de conocimiento buscando sistemáticamente los meta‐análisis publicados y comparando las estimaciones del tamaño del efecto entre los estudios en inglés y japonés incluidos en los meta‐análisis existentes. De los 40 artículos de meta‐análisis ecológicos publicados por aquellos afiliados a instituciones japonesas, encontramos que tres artículos de meta‐análisis buscaron estudios en dos idiomas e involucraron un número suficiente de estudios en inglés y japonés, lo que resultó en cuatro meta‐análisis elegibles (i.e., cuatro meta‐análisis realizados en tres artículos de meta‐análisis). En dos de los cuatro, los tamaños de los efectos difieren significativamente entre los estudios en inglés y japonés incluidos en los meta‐análisis, lo que provoca cambios considerables en los tamaños de efectos medios generales e incluso su dirección cuando se excluyen los estudios en japonés. Las diferencias observadas en los tamaños de los efectos son probablemente atribuibles a las diferencias sistemáticas en los resultados estadísticos informados, así como a las características de los estudios asociados, particularmente los taxones y los ecosistemas, entre los estudios en inglés y japonés. A pesar de estar basados ​​en un tamaño de muestra pequeño, nuestros hallazgos sugieren que ignorar los estudios que no están en inglés puede sesgar los resultados de los meta‐análisis ecológicos, debido a las diferencias sistemáticas en las características del estudio y a las estimaciones del tamaño del efecto entre el idioma inglés y el no inglés. Proporcionamos una lista de acciones que los meta‐analistas podrían tomar en el futuro para reducir el riesgo de sesgo lingüístico.