Os caminhos para uma ciência mais responsável

Especialista em integridade científica, o holandês Lex Bouter fala sobre suas expectativas para a próxima conferência mundial sobre o tema, na África do Sul

O epidemiologista holandês Lex Bouter é uma das principais referências em integridade em pesquisa no mundo. Desde 2013 ele desenvolve estudos sobre o tema, por meio dos quais procura avaliar o envolvimento de pesquisadores em casos graves de má conduta e práticas questionáveis. O  estudioso  dedica-se ainda ao ensino de condutas responsáveis, alinhadas a preceitos da chamada ciência aberta, marcada pela colaboração científica, acesso irrestrito ao conhecimento e amplo compartilhamento de dados.

Bouter foi reitor da Universidade Livre de Amsterdã (VU) entre 2006 e 2013, e em 2017 assumiu a presidência da fundação que organiza a Conferência Mundial sobre Integridade em Pesquisa (WCRI), cuja sétima edição será realizada em fins de maio na Cidade do Cabo, na África do Sul, e terá como tema a promoção de boas práticas de pesquisa em um mundo desigual. É a primeira vez que o continente africano sedia o encontro.

Bouter falou a Pesquisa FAPESP no início de março, pelo Zoom. Na entrevista a seguir, ele aborda debates e iniciativas recentes sobre integridade em pesquisa, como eles foram afetados pela pandemia, suas expectativas para a próxima WCRI, entre outros assuntos.

O senhor iniciou sua carreira nas áreas de biologia médica e epidemiologia. Em que momento decidiu trabalhar com integridade em pesquisa?
Fui reitor da minha universidade por sete anos e por outros 12 integrei o Comitê Central Holandês de Pesquisas com Seres Humanos. Lidei com vários casos de má conduta nesse período e percebi que várias práticas de pesquisa questionáveis decorriam de falhas metodológicas, de modo que, quando meu mandato como reitor terminou, em 2013, decidi me dedicar mais a esse campo.

Como avalia a relevância conquistada pela Conferência Mundial sobre Integridade em Pesquisa?
A WCRI conseguiu congregar diferentes atores do meio acadêmico em torno de discussões sobre integridade em pesquisa. Isso foi fundamental para que conseguíssemos produzir orientações sobre como combater a má conduta e fomentar boas práticas. Exemplo disso é a Declaração de Singapura, produzida em 2010 durante a segunda edição da WCRI. Ela se tornou referência para códigos de boas práticas em todo o mundo – não que ela tenha sido criada com esse fim, mas fico feliz que tenha ajudado a balizar outras iniciativas locais.

As discussões sobre integridade evoluíram nos últimos anos, partindo da responsabilidade individual dos pesquisadores para o papel das instituições na prevenção de novos casos e, recentemente, para um debate sobre os sistemas de recompensa na carreira acadêmica. Para onde essa discussão deve se encaminhar agora?
A próxima WCRI oferecerá uma nova perspectiva sobre integridade em pesquisa. Pretendemos debater como incorporar conceitos de igualdade, diversidade e inclusão nas discussões e inciativas nessa área. Ela também será uma oportunidade para avaliarmos as lições da pandemia. A ciência passou por um momento de forte pressão, com muitos artigos sobre a Covid-19 publicados em formato preprint e mudanças importantes na revisão por pares. Precisamos discutir o que podemos aprender com essas experiências.

A prevalência de má conduta científica foi afetada pela pandemia?
Esperamos obter algumas respostas sobre isso na África do Sul. A pandemia gerou muita pressão sobre os pesquisadores e despertou grande interesse do público pela ciência. Fiquei espantado com a quantidade de artigos preprints revisados publicamente em discussões nas redes sociais. Esse nível de escrutínio é bem-vindo, desde que os comentários sejam razoáveis e construtivos. Muitos cientistas receberam ofensas e ameaças nessas plataformas por conta de estudos que estavam fazendo. Esse foi um fenômeno novo para nós.

Como avalia a disseminação dos preprints?
Esse formato é uma ótima ideia, mas envolve riscos que ainda precisam ser mais bem estudados. As primeiras evidências sugerem que os preprints sobre a Covid-19 sofreram poucas alterações nas revisões finais [ver Pesquisa FAPESP nº 313]. Também os níveis de papers retratados se mantiveram estáveis durante a pandemia, o que é um bom sinal.

As discussões sobre integridade em pesquisa têm hoje um papel importante na relação científica entre países desenvolvidos e em desenvolvimento. Como fomentá-las?
Procuramos incluir acadêmicos de países de baixa e média renda nos debates sobre integridade em pesquisa promovendo conferências fora da Europa e América do Norte. O caso da WCRI realizada em 2015 no Rio de Janeiro é um exemplo disso. Soube por colegas brasileiros que ela ajudou a dar tração às discussões e iniciativas sobre integridade em pesquisa. Queremos fazer o mesmo na África. Sabemos que os governos locais estão interessados em promover esse assunto. Alguns dos nossos principais patrocinadores para a próxima conferência são o Departamento de Ciência e Inovação e a Fundação Nacional de Pesquisa da África do Sul. Estamos usando esses recursos para custear a participação de pesquisadores de países de média e baixa renda. Queremos que eles apresentem seus trabalhos no evento. Também estimulamos a participação de cientistas desses países no comitê consultivo e de planejamento das conferências. Nosso objetivo é ser uma organização internacional comprometida com a diversidade.

A pressão para publicar cada vez mais em periódicos de alto impacto é um importante indutor de má conduta e práticas de pesquisa questionáveis

Como situa o Brasil nas discussões sobre integridade em pesquisa?
O Brasil é um país desenvolvido em termos científicos, embora esteja enfrentando um momento difícil. Pelo que pude perceber, o nível de conscientização dos pesquisadores brasileiros sobre integridade em pesquisa é substancial e vem crescendo. Alguns acadêmicos estão desenvolvendo estudos sobre o tema e várias iniciativas educativas foram lançadas.

O debate sobre integridade em pesquisa concentrou-se, no passado recente, em como o sistema de recompensas na academia estimula a má conduta. Como avalia essa relação?
As evidências sugerem que o atual sistema de recompensas, baseado sobretudo em muitas citações e na publicação de vários artigos, tende a incentivar comportamentos duvidosos e inadequados. Estima-se que muitos pesquisadores se envolvam em práticas questionáveis, ou fraudulentas, para emplacar seu estudo em periódicos de alto impacto, obter financiamento para seus projetos ou ser efetivado em determinado cargo em sua universidade – infelizmente, muitas vezes isso dá certo.

Alguns especialistas criticam o uso de indicadores bibliométricos na avaliação de pesquisadores, argumentando que eles deveriam ser substituídos por métricas mais abrangentes. Concorda?
Não me parece muito inteligente basear todo um sistema de recompensa apenas na quantidade de citações e artigos publicados, sobretudo porque esses indicadores não são bons em determinar a qualidade da produção acadêmica. Mas isso não significa que devemos abandonar essas métricas. Seria mais razoável incorporá-las em um sistema que também leve em conta outros indicadores, associados a práticas de pesquisa responsáveis.

Que tipo de práticas?
Se o pesquisador faz o pré-registro de suas pesquisas, se disponibiliza seus dados em repositórios de acesso aberto, se é um bom revisor, orientador, mentor, professor etc. Claro, não devemos superestimar o valor desses e de outros indicadores, pois eles também têm suas limitações. Por isso, devem ser usados para complementar os indicadores quantitativos tradicionais.

A Universidade de Utrecht anunciou recentemente que abandonaria o uso de indicadores bibliométricos no processo de contratação e promoção de pesquisadores.
É uma iniciativa interessante, mas ainda não se provou efetiva.

O senhor não parece muito convencido.
Essa foi uma mudança bastante radical. Muito tem se discutido nos Países Baixos sobre os chamados “currículos narrativos”, nos quais os pesquisadores, em vez de destacar seus indicadores bibliométricos, como o índice h, apresentam uma descrição qualitativa de suas contribuições, discorrendo sobre seus feitos acadêmicos, impacto de suas pesquisas, de suas orientações etc. Você chega a se emocionar com as histórias, mas é muito difícil usar esses currículos para fazer uma comparação justa e objetiva dos candidatos. Ainda precisamos de indicadores quantitativos.

Qual o papel das agências de fomento à pesquisa na promoção da integridade em pesquisa?
Elas são importantes indutoras de mudanças. Afinal, os pesquisadores precisam de dinheiro para seus projetos. Um bom exemplo foi quando elas passaram a exigir que os cientistas encaminhassem um plano de gestão e compartilhamento dos dados com seus pedidos de financiamento. Todos acataram. No entanto, essas mudanças precisam ser feitas com cautela e com base em evidências e sólido planejamento. Algumas agências dos Países Baixos deixaram de usar indicadores de impacto sem avaliar muito bem as consequências dessa decisão. Agora, estamos tendo de lidar com esses currículos narrativos que citei antes, interessantes, mas difíceis de usar no processo seletivo.

Quais fatores costumam gerar má conduta e práticas de pesquisa questionáveis?
A literatura sugere que a pressão das universidades e das agências de fomento para publicar cada vez mais em revista de alto impacto seria um importante indutor de má conduta e práticas de pesquisa questionáveis. Sabemos, porém, que existem outros fatores. Verificamos em estudos recentes que orientadores e supervisores desempenham um papel importante nessa questão.

Em qual sentido?
Identificamos dois tipos de mentoria. Uma é a de “sobrevivência”, na qual o orientador ou supervisor ensina os pesquisadores em início de carreira todos os truques para se dar bem no atual sistema de recompensa, isto é, como publicar muitos artigos, conseguir muitas citações, financiamento etc. Os cientistas que receberam esse tipo de formação parecem se envolver mais em práticas de pesquisa questionáveis, diferentemente dos colegas que receberam um segundo tipo de mentoria, mais responsável, baseada em boas práticas de pesquisa.

A omissão de resultados negativos tende a mascarar a realidade e produzir vieses, com implicações na reprodutibilidade dos estudos

Qual grupo se saiu melhor em termos de produção científica e impacto?
Não avaliamos a produtividade desses grupos.

As práticas de ciência aberta aumentam as chances de detectar má conduta?
Sim, porque elas aumentam a transparência e a confiabilidade dos estudos. A identificação de práticas questionáveis ou fraudulentas muitas vezes só é possível por meio da comparação entre as publicações e o pré-registro das pesquisas, no qual os autores se comprometem a seguir determinado protocolo antes de iniciar a coleta de dados. Essa é uma prática estimulada pela ciência aberta.

O senhor tem destacado a importância de valorizar a divulgação de resultados nulos ou negativos. Por que isso é relevante?
A omissão de resultados negativos acaba por gerar uma sobrevalorização, ou super-representação, de resultados positivos. Ocorre que esses achados serão mais tarde sintetizados em trabalhos de revisão, dando a entender que representam todo o corpo de evidências de que dispomos sobre determinado fenômeno, e não apenas uma parte deles. Isso tende a mascarar a realidade e produzir vieses, com implicações importantes na reprodutibilidade dos estudos.

A crescente preocupação com a reprodutibilidade da ciência melhorou as discussões sobre integridade em pesquisa?
São dois lados da mesma moeda. As práticas de pesquisa questionáveis estão entre os principais fatores responsáveis pela crise de reprodutibilidade, e isso compromete a confiança na pesquisa. Combater essas práticas significa exigir que as pesquisas sejam eticamente sólidas e de qualidade metodológica rigorosa. Isso aumenta muito as chances de esses trabalhos serem replicados com sucesso.

O senhor tem defendido que, em vez de enfatizar punições por má conduta, as instituições deveriam apoiar o debate contínuo sobre erros e comportamentos capazes de comprometer a integridade em pesquisa. Tem exemplos de sucesso nesse sentido?
Há uma iniciativa interessante coordenada por um consórcio europeu que vem reunindo conhecimento e experiências bem-sucedidas de universidades e laboratórios em integridade em pesquisa. Parte dos dados coletados está no site do projeto, www.sops4ri.eu, em uma seção chamada “caixa de ferramentas” [toolbox, no alto da página]. No entanto, é importante destacar que a efetividade dessas ações ainda não foi devidamente avaliada. Existem muitas iniciativas de educação voltadas à integridade em pesquisa, mas não sabemos se elas funcionam.

Quanto tempo leva para conseguir medir a efetividade dessas iniciativas?
Depende do que queremos saber. É simples estimar o nível de satisfação dos participantes de cursos sobre integridade em pesquisa, mas é difícil medir os efeitos dessas iniciativas na incidência do problema. Estudos baseados nas respostas dos próprios pesquisadores têm suas limitações. É possível investigar as atitudes e o conhecimento dos cientistas sobre essas práticas via questionários, mas eles não são bons preditivos de comportamentos problemáticos. É como fumar. As pessoas sabem que faz mal à saúde, mas, ainda assim, fumam.

Em 2018, o senhor participou de um comitê responsável por redigir um novo código de conduta sobre integridade em pesquisa para instituições de pesquisa nos Países Baixos. Por que decidiram substituir o código anterior?
Queríamos atualizá-lo e ampliar o rol de recomendações sobre boas práticas de pesquisa, deixar mais clara a distinção entre má conduta e faltas de menor importância, e mostrar como as instituições devem proceder em cada caso. Estabelecemos alguns critérios para ajudá-las a determinar a severidade das sanções, como intencionalidade, ganhos pessoais, se o pesquisador é reincidente, se está em início de carreira etc. O documento também apresenta uma lista de deveres que as instituições devem seguir em termos de treinamento e supervisão, normas e procedimentos éticos, e promoção da ciência aberta, principalmente no que diz respeito ao gerenciamento de dados, publicação e divulgação de resultados.

O senhor teve problemas para conseguir estudar a integridade em pesquisa nos Países Baixos. Dos mais de 40 mil pesquisadores convidados a preencher um questionário on-line no ano passado, apenas 21% participaram. Qual é a dificuldade?
De fato, poucos acadêmicos responderam ao nosso questionário, muito embora esse percentual de adesão esteja em linha com o obtido em outros estudos. Nós divulgamos o levantamento e destacamos sua importância em redes sociais e newsletters, mas não conseguimos aumentar o número de participantes. Esperamos que mais pesquisadores participem no futuro à medida que a comunidade se engaje mais nas discussões sobre integridade em pesquisa.

Por que os pesquisadores resistem em participar desses levantamentos?
Alguns não querem ou não têm tempo, outros não acreditam que protegeremos sua identidade e temem que suas respostas comprometam sua carreira. Também é possível que nosso questionário tenha ido parar na caixa de spam de alguns deles. Mas, de modo geral, esses questionários forçam os cientistas a confrontarem suas próprias atitudes e comportamentos. Eles se deparam com perguntas como “você já fabricou ou falsificou resultados de pesquisa?”. Não é agradável admitir para si mesmo quando você é uma fraude.