Blogue RBE

Toolkit News Integrity in AI Assistants: um guia para compreender e melhorar as respostas da IA às notícias

Em outubro de 2025, a BBC e a União Europeia de Radiodifusão (EBU) divulgaram o relatório News Integrity in AI Assistants: An International PSM Study, que analisa a forma como os assistentes de IA respondem a perguntas sobre a atualidade. (Veja a súmula no blogue RBE). 

Em paralelo, publicaram o News Integrity in AI Assistants Toolkit, um recurso prático concebido para ajudar jornalistas, programadores, educadores e o público em geral a compreender como estas ferramentas funcionam e onde falham.

O Toolkit nasce, assim, da análise detalhada de mais de 3.000 respostas produzidas por sistemas como ChatGPT, Copilot, Gemini e Perplexity, permitindo identificar modos concretos através dos quais os assistentes podem deformar, omitir ou distorcer informação jornalística.

Para além de apresentar as principais falhas, o documento define os quatro elementos que caracterizam uma boa resposta sobre notícias - precisão, contexto, distinção entre factos e opiniões e fontes - e estabelece uma linguagem comum para descrever problemas e comparar desempenhos entre diferentes modelos.

Enquanto o relatório evidencia a persistência de erros com impacto informativo, o Toolkit oferece um guia estruturado para reconhecer, classificar e corrigir esses erros, disponibilizando definições claras, exemplos reais e critérios de avaliação consistentes. O seu objetivo é, por isso, duplo: explicar o que deve ser uma boa resposta sobre notícias e mostrar, com rigor, os erros mais frequentes, oferecendo ferramentas de análise para a sua identificação e correção.

Trata-se de um instrumento pensado não só para o setor dos media, mas também para a formação: ao tornar visíveis os limites e modos de falha da IA, reforça a importância da literacia mediática e algorítmica e apoia escolas e bibliotecas na promoção de um uso mais informado e crítico destas tecnologias.

O que é uma “boa” resposta de um assistente de IA?

O toolkit estabelece quatro critérios essenciais para avaliar a qualidade de uma resposta de um assistente de IA a uma pergunta sobre a atualidade.

1. Precisão

Os factos apresentados devem ser corretos, atualizados e consistentes. Nomes, datas, números, decisões políticas, consequências e relações causais devem refletir a melhor informação conhecida e/ou o conteúdo das fontes citadas.

2. Contexto

Uma resposta fiável deve incluir os elementos essenciais para que o leitor compreenda o tema: enquadramento, perspetivas relevantes, nível de incerteza e explicação de conceitos quando necessário.

3. Distinção entre factos e opiniões

Os assistentes de IA tendem a misturar declarações opinativas com factos, atribuindo, por vezes, interpretações próprias ou juízos de valor a personalidades ou instituições. Uma boa resposta deve separar claramente factos, análises e opiniões.

4. Fontes 

O utilizador deve poder verificar a informação. O toolkit destaca que as fontes devem ser relevantes, acessíveis, atualizadas e corretamente atribuídas, evitando ligações inoperacionais ou um problema recorrente relacionado com links inexistentes ou inventados.

Como falham os assistentes? Uma taxonomia de erros

Para melhorar a qualidade das respostas dos assistentes de IA a perguntas sobre notícias, é necessário identificar com precisão os problemas que devem ser corrigidos. 

O documento organiza esses problemas numa taxonomia de failure modes,  estruturada a partir dos quatro elementos que definem uma boa resposta,  discriminados acima. 

Cada categoria tem a sua secção própria, onde se explica por que é importante, se descrevem os tipos de falhas possíveis e se apresentam exemplos recolhidos no estudo BBC/EBU. 

Salienta-se que, não sendo a taxonomia exaustiva,  funciona como um guia prático que mostra, de forma sistemática, as muitas formas como os assistentes podem errar, permitindo diagnosticar problemas, orientar melhorias técnicas e apoiar iniciativas de literacia mediática.

1. Precisão- A resposta do assistente deve ser precisa, com referência à verdade sobre factos, opiniões e outras informações ou na forma como transmite o conteúdo de uma fonte citada. Alguns dos problemas mais frequentes:

🟥Factos inventados (alucinações) ou mal contextualizados;
🟥Falta de fidelidade às fontes;
🟥Informação ou afirmação desatualizada;
🟥Representação cronológica incorreta;
🟥Representação causal incorreta;
🟥Generalizações incorretas ou inadequadas;
🟥Representação incorreta de entidades e relações;
🟥Falhas de raciocínio ou lógica.

2. Erros em citações

A exatidão das citações diretas é fundamental para a exatidão global. Atribuir palavras exatas a uma pessoa implica responsabilidade legal e exige um nível de precisão muito superior ao da simples paráfrase. 

Esta subsecção identifica o que caracteriza uma boa utilização de citações (reprodução literal das palavras, atribuição correta e apresentação clara como citação) e apresenta as quatro formas principais de falha identificadas:

🟥citações inventadas;
🟥citações alteradas;
🟥atribuições incorretas;
🟥ausência de marcação adequada das citações.

Algumas das respostas analisadas chegaram a inventar declarações atribuídas a líderes políticos ou a jornalistas, apresentando-as como factuais.

3. Falta de contexto

Uma boa resposta de um assistente de IA não depende apenas de factos corretos, mas também de informação suficiente e relevante para que o utilizador compreenda plenamente o tema. Uma resposta pode ser tecnicamente verdadeira, mas enganadora por falta de enquadramento, omitindo elementos essenciais que alteram a leitura da notícia. 

Por isso, os assistentes devem incluir o enquadramento necessário, as perspetivas essenciais e o nível adequado de certeza ou incerteza dos factos apresentados. 

Muitas das falhas observadas no estudo resultam de omissões importantes, pontos de vista ignorados ou informação irrelevante, que podem tornar uma resposta tecnicamente verdadeira mas enganadora. 

As três formas mais comuns de erros de contexto são: 

🟥omissão de factos essenciais;
🟥omissão de perspetivas relevantes;
🟥inclusão de informação fora do tópico. 

4. Distinção entre factos e opinião

As principais falhas dos assistentes, neste domínio, prendem-se com:

🟥Falhas em sinalizar adequadamente a opinião;
🟥Atribuição enganadora ou incorreta de uma opinião.

As respostas devem clarificar se as informações que apresentam são factos ou opiniões e devem vir acompanhadas da atribuição adequada e precisa. 

Foram, também, identificadas falhas relacionadas com a editorialização e as fontes.

A - Editorialização inadequada ou enganosa

Os assistentes de IA, por vezes, introduzem juízos de valor ou interpretações em nome próprio, sem aviso explícito, gerando respostas que parecem factuais mas que, na realidade, contêm um tom editorial.

Tal situação pode levar o utilizador a atribuir essas opiniões às organizações noticiosas citadas, comprometendo a imparcialidade e a confiança do público, pelo que uma resposta responsável deve separar claramente informação factual de qualquer formulação interpretativa, identificar sempre a origem das opiniões e sinalizar explicitamente quando há comentários que não provêm das fontes. 

B - Problemas de fonte

Esta é a categoria com maior incidência, sendo os erros mais frequentes:
🟥ausência total de fontes;
🟥links inventados ou irrelevantes;
🟥fontes desatualizadas;
🟥utilização de conteúdos satíricos como se fossem factuais;
🟥fontes com fraca credibilidade;
🟥referência a artigos que não contêm a informação atribuída.

Este último problema é especialmente grave, pois cria a ilusão de verificação sem permitir qualquer auditoria real.

O Toolkit enfatiza que respostas fiáveis devem apoiar todos os pontos essenciais em fontes relevantes, acessíveis e verificáveis, claramente atribuídas e adequadamente descritas.

O Toolkit como instrumento formativo

O Toolkit dirige-se a empresas tecnológicas, organizações de media, investigadores e público em geral, fornecendo um guia estruturado para compreender o que distingue uma boa resposta de IA e quais os erros mais frequentes neste tipo de sistemas. 

Ao sistematizar critérios de qualidade e uma taxonomia de falhas, torna-se um recurso essencial para formação: apoia jornalistas e educadores na análise crítica das respostas produzidas por assistentes de IA, fornece às escolas orientações e recursos para reforçar a literacia mediática e algorítmica e contribui para capacitar cidadãos capazes de navegar com maior segurança no ecossistema informativo contemporâneo.

Relevância para o trabalho das bibliotecas escolares

O toolkit é uma ferramenta preciosa para o campo educativo em geral, e para o trabalho a desenvolver pelas bibliotecas escolares em particular, porque permite:

🔺mostrar como funcionam os assistentes de IA;

🔺compreender por que razão as respostas rápidas podem ser incompletas ou erradas;

🔺treinar a identificação de erros factuais, falhas de raciocínio e distorções;

🔺reforçar o ensino da verificação de fontes e da leitura crítica;

🔺apoiar projetos de literacia da informação e dos media em bibliotecas e nas salas de aula.

Assim, constitui um recurso particularmente útil para reforçar projetos de literacia mediática já em curso nas bibliotecas escolares, do ensino superior e públicas. A sua taxonomia de erros e os exemplos reais que apresenta podem ser integrados de forma direta em iniciativas da RBE como o  ProLiteracias, o PÚBLICO na Escola e o LIDERA e em todo o trabalho a desenvolver para responder ao referencial Aprender com a Biblioteca Escolar, pois promove competências de análise de notícias, verificação de fontes e confronto de perspetivas. 

Num momento em que milhões de utilizadores recorrem diariamente a assistentes de IA para obter respostas rápidas, o News Integrity in AI Assistants Toolkit  permite tornar visíveis as limitações destes sistemas e reforçar a cultura de verificação que sustenta uma sociedade informada.

Ao exigir rigor, transparência e fontes fiáveis, este toolkit aponta para um futuro em que a IA poderá ser usada de forma responsável, apoiando de forma efetiva o jornalismo, a educação e o pensamento crítico. Mais do que um instrumento técnico, é um contributo essencial para uma cidadania informada, pois capacita os utilizadores para questionarem o que leem, avaliarem a credibilidade da informação e resistirem à desinformação. Em última análise, trata-se de reforçar os alicerces de uma sociedade democrática, onde o acesso a informação rigorosa e a capacidade de a interpretar criticamente são condições indispensáveis para a participação consciente e para a preservação de um espaço público plural e transparente.

Referências

BBC & European Broadcasting Union. (2025). News integrity in AI assistants: An international PSM study. https://www.bbc.co.uk/mediacentre/documents/news-integrity-in-ai-assistants-report.pdf

BBC & European Broadcasting Union. (2025). https://www.ebu.ch/files/live/sites/ebu/files/Publications/MIS/open/EBU-MIS-BBC_News_Integrity_in_AI_Assistants_Toolkit_2025.pdf