Eu quero acreditar! Da importância, formas de uso e limites dos testes de confiabilidade na Análise de Conteúdo Translated title: “I want to believe!” On the importance, uses and limits of inter-coder reliability tests in Content Analysis

Abstract

RESUMO Introdução A análise de conteúdo (AC) tem sido normativamente definida a partir de três princípios fundamentais: validade, replicabilidade e confiabilidade. Neste trabalho, identificamos que os estudos empíricos, no Brasil e no exterior, têm negligenciado esses princípios, em especial o último (confiabilidade). Métodos Diante disso, oferecemos uma contribuição tanto operacional quanto crítica à AC. Em relação à contribuição operacional, o trabalho apresenta uma listagem detalhada de procedimentos sobre como se realizar um teste de confiabilidade em diferentes circunstâncias de pesquisa (com um ou mais pesquisadores). Resultados Já a contribuição crítica é uma reflexão epistemológica acerca das vantagens e limites dos usos mais comuns desse tipo de teste, usos esses que, no limite, podem comprometer a própria confiabilidade científica dos resultados publicados. Discussão De modo a evitar esse risco, propomos que pesquisas com AC podem reivindicar a presunção de confiabilidade quando (a) oferecem plenas condições de replicabilidade e (b) quando oferecem um teste de confiabilidade realizado por um ou mais codificadores, teste esse que seja aceitável como significativamente não-aleatório. Por fim, concluímos que, nos periódicos de alto impacto, predomina a importância de (b) em detrimento de (a), o que demonstra que, mesmo na elite da produção científica, ainda prevalece uma compreensão pouco exigente sobre a confiabilidade na AC.

Translated abstract

ABSTRACT Introduction Content analysis has been normatively organized by the following principles: validity, replicability, and reliability. This paper points out that empirical studies in Brazil and abroad have been ignoring such principles, especially the latter (reliability). From this vantage point, we offer a theoretical and practical contribution to content analysis. Methods Regarding the practical contribution, this papers details check-lists of procedures for conducting intercoder reliability tests for different research conditions (i.e. for one or more coders). Results Concerning the theoretical contribution, it departs from an epistemological critical assessment of the advantages and limitations embedded in the most common uses of this kind of test. On the limit, such uses might put the scientific reliability of the published results at risk. Discussion In order to avoid such risk, we argue that empirical studies might claim the presumption of reliability when (a) they offer plain conditions for their replicability; and (b) when they offer a reliability test that might be regarded as significantly non-random. We conclude our paper by pointing out that, in the high ranked journals, prevails the importance of (b) under (a), which implies that even in the elite of scientific production prevails a low demanding comprehension of reliability.