A própria OpenAI reconhece em seus materiais para educadores que ferramentas automáticas para “detectar texto de IA” não separam, com segurança, o que foi escrito por humanos do que foi gerado por modelos. Na prática, isso transforma detectores em risco de injustiça, com falsos positivos que podem virar punição indevida, especialmente em contextos educacionais.
Por que detectores de texto por IA falham
Detectores de escrita por IA não são confiáveis para decisões importantes porque não existe uma “assinatura” fixa que sempre diferencie texto humano de texto gerado. A OpenAI afirma que essas ferramentas não conseguem distinguir de forma segura os dois tipos de conteúdo e que pequenas edições já podem driblar a detecção.
O problema é estrutural, não é só “falta de calibragem”. Muitos detectores se apoiam em métricas estatísticas frágeis, que confundem textos mais previsíveis, objetivos ou formulaicos com conteúdo de IA. A OpenAI relata que, ao tentar treinar um detector, viu textos humanos clássicos serem marcados como gerados por IA, incluindo trechos atribuídos a Shakespeare e até a Declaração de Independência. help.openai.com
Outro ponto sensível é o viés. A OpenAI também indica sinais de impacto desproporcional em estudantes que aprenderam inglês como segunda língua e em estilos de escrita mais concisos. Mesmo quando a intenção é “só investigar”, o efeito prático pode ser acusação injusta. help.openai.com
O exemplo mais direto: o detector da própria OpenAI
Em 20 de julho de 2023, a OpenAI retirou do ar seu AI Text Classifier por baixa precisão, algo que virou um marco na discussão pública. searchengineland.com
Uma referência recorrente sobre esse teste aponta números que explicam o estrago: o detector identificava corretamente apenas 26% dos textos de IA e ainda marcava texto humano como IA em parte dos casos, o tipo de falso positivo que vira “prova” onde não deveria existir. ets.org
Por que nem o ChatGPT consegue “confirmar autoria”
Existe um mito popular de que basta perguntar ao ChatGPT se um texto foi escrito por IA. A OpenAI é explícita ao dizer que o ChatGPT não tem “conhecimento” sobre a origem do texto e pode inventar respostas quando recebe perguntas do tipo “você escreveu este ensaio?” ou “isso foi feito por IA?”, sem base factual. help.openai.com
Esse comportamento é parte do que a OpenAI descreve como risco de “alucinação”, quando o modelo entrega respostas convincentes, porém erradas, e pode até fabricar citações e referências. help.openai.com
Fora da escola, o exemplo clássico desse risco foi parar no Judiciário: casos públicos mostraram petições com citações inexistentes geradas por ferramentas de IA, o que levou a sanções e retratações. apnews.com
Como lidar com suspeitas sem cair em armadilhas
Se o detector não serve como “teste de DNA”, a alternativa é mudar o foco, sair da caça ao texto e ir para evidências de processo e aprendizagem. Em materiais para educadores, a OpenAI sugere abordagens como solicitar que o aluno compartilhe conversas específicas e usar isso como parte do acompanhamento formativo. help.openai.com
Exemplo prático de sala de aula
Em vez de “rodar no detector”, um professor pode pedir três coisas objetivas: (1) um parágrafo explicando a ideia central com palavras próprias, (2) a justificativa de duas escolhas do texto, por exemplo por que usou determinado argumento e (3) o rascunho ou o histórico do processo, como anotações, versão anterior ou a conversa de IA, se houver uso declarado. Se a pessoa domina o conteúdo, ela consegue defender a linha de raciocínio, com ou sem IA no apoio.
Sinais humanos que costumam ser mais úteis
- Quebra de padrão de voz: mudança abrupta no estilo em comparação com entregas anteriores pode acender alerta, mas não é prova isolada.
- “Erros de colagem”: frases típicas de saída de chatbot, como “as an AI language model”, às vezes escapam quando há copiar e colar sem revisão, fenômeno já observado também em spam e avaliações falsas. Ver exemplo no The Verge.
- Marcas de interface: no meio científico, já apareceu “Regenerate response” dentro de manuscritos, um rótulo ligado ao uso do ChatGPT, detectado por revisores e pesquisadores. nature.com
Regra de decisão para evitar injustiça
Regra simples: se a consequência for alta, por exemplo reprovação, denúncia formal ou punição disciplinar, não usar resultado de detector como base. Só agir quando houver evidência independente de processo, como incapacidade de explicar o próprio texto em conversa, inconsistências em referências, ou ausência total de rascunhos em tarefas que normalmente deixam rastros.
Uma recomendação compatível com essa linha aparece em análises sobre uso responsável: detectores não chegam a “100%”, variam com o tamanho do texto e não devem ser a única fonte em decisões relevantes. ets.org
O caminho do mercado para prova de origem
A tendência mais realista não é “detectar pelo estilo”, e sim comprovar origem por mecanismos de proveniência. A própria OpenAI já sinalizou pesquisa nessa direção quando justificou a retirada do classificador e mencionou técnicas mais eficazes para entender a origem do conteúdo. searchengineland.com
Mini-modelo para entender o impasse
- Talento: modelos melhoram rápido, então imitação de escrita humana fica cada vez mais natural.
- Tempo: alunos e produtores ajustam o texto em minutos, e isso já basta para escapar de muitos detectores. help.openai.com
- Incentivo: quanto maior o custo de ser pego, mais as pessoas investem em “limpar” o texto, e os detectores viram uma corrida armamentista.
Para educadores e equipes editoriais, o passo mais sólido hoje é tratar IA como parte do processo, exigir transparência quando permitido, e avaliar domínio do conteúdo, não “probabilidade de IA”. Como ponto de partida, o guia da OpenAI sobre ensino com IA e seus FAQs para educadores ajudam a montar políticas e atividades que valorizem aprendizagem verificável. Teaching with AI e FAQ para educadores. openai.com
Para aprofundar a discussão no contexto brasileiro, a leitura complementar que conecta práticas pedagógicas com uso de ferramentas é este material: dicas para educadores.