LLMs de uso geral como o ChatGPT na triagem de emergência: os resultados do MTS-Bench

Os modelos de linguagem de uso geral como o ChatGPT são cada vez mais usados por médicos e enfermeiros de triagem, muitas vezes como forma informal de confirmar a urgência de um caso. A utilização é já substancial: cerca de dois em cada três médicos dos EUA referem usar ferramentas de IA na prática clínica [1], e um em cada cinco médicos de família do Reino Unido refere usar um chatbot de IA [2]. Esse uso cresce mais depressa do que a evidência que o sustenta. Se estas ferramentas são seguras para a triagem, uma tarefa em que errar a urgência pode atrasar os cuidados, não tinha sido testado face a um referencial clínico estruturado [3]. Criámos o MTS-Bench para responder a uma questão simples: um modelo de uso geral, usado sozinho, atribui a urgência correta, e um sistema clínico com recuperação de fontes faz melhor?

O resultado principal: o MTS-Bench encontrou perfis de segurança de triagem materialmente diferentes para os sistemas que testou. Avaliou um LLM de uso geral autónomo, o ChatGPT (GPT-5.1), a par do DR. INFO, um assistente clínico agêntico que recupera evidência de uma base de conhecimento curada. O DR. INFO subtriou 11,5% dos prompts de casos de emergência; o ChatGPT subtriou 44,2% [3].

A diferença foi mais importante nas apresentações sensíveis ao tempo. O DR. INFO não cometeu erros de subtriagem de prioridade Vermelha no benchmark, incluindo quando foi acrescentada uma referenciação enganosa. A sua configuração com recuperação do Sistema de Triagem de Manchester (MTS) respondeu também de forma mais adequada quando ficaram disponíveis sinais vitais, achados do exame e resultados laboratoriais.

LLMs de uso geral como o ChatGPT podem ser úteis para redação, formação e apoio clínico amplo. Este benchmark de segurança, porém, encontrou subtriagem substancial quando o ChatGPT foi usado sozinho para a triagem de emergência estruturada baseada no MTS [3]. O estudo está disponível como preprint no medRxiv e ainda não foi revisto por pares.

Porque a triagem de emergência é um teste de segurança difícil para a IA

A triagem decide com que rapidez um doente deve ser avaliado. No Sistema de Triagem de Manchester, isso vai do Vermelho (avaliação imediata) ao Azul (não urgente, até 240 minutos) [4].

Os dois tipos de erro não são iguais. A subtriagem atribui a um doente uma prioridade inferior à que a sua apresentação justifica, podendo atrasar cuidados sensíveis ao tempo. A sobretriagem usa mais recursos, mas não cria o mesmo atraso para um doente grave. Um auxiliar de triagem seguro tem, por isso, de ser especialmente fiável na extremidade de maior acuidade da escala.

É por isso que o MTS é um bom banco de ensaio. É um referencial estruturado com fluxogramas, discriminadores e alvos de tempo explícitos. Exige de um sistema mais do que produzir prosa médica plausível: tem de aplicar um procedimento de decisão definido à informação que tem à frente [3][4].

O que o MTS-Bench testou

Cada caso foi apresentado de várias formas clinicamente relevantes:

• com ou sem sinais vitais, achados do exame e resultados laboratoriais;
• com versões de doente masculina e feminina; e
• com ou sem uma referenciação enganosa do médico de família, para testar se o sistema seria ancorado por um enquadramento inicial autoritário mas incorreto.

O estudo comparou três configurações:

• ChatGPT (GPT-5.1), o LLM de uso geral autónomo avaliado neste estudo;
• DR. INFO Baseline, um assistente clínico agêntico que recupera de uma base de conhecimento clínico curada; e
• DR. INFO com recuperação MTS, o mesmo sistema com o texto de referência do Sistema de Triagem de Manchester disponível no momento da pergunta.

Testámos o GPT-5.1 através da API como comparador de uso geral por duas razões. É o equivalente mais próximo disponível do ChatGPT, o modelo de uso geral a que os clínicos mais recorrem como auxiliar improvisado de triagem, pelo que representa essa classe de ferramentas e não um produto em particular. Além disso, um único modelo bem especificado com um prompt fixo permite correr a comparação de forma rápida e reprodutível. Trata-se de uma opção deliberada de âmbito, não de uma afirmação sobre os LLMs de uso geral enquanto categoria: outros modelos, versões e prompts podem comportar-se de forma diferente, e um estudo recente com nove modelos encontrou grande variação no erro de triagem entre eles [6].

Cada sistema recebeu 312 prompts. A análise primária reporta os 156 prompts sem a referenciação enganosa, para que o desempenho de triagem de base possa ser comparado diretamente.

Resultados comparativos de segurança de triagem: DR. INFO e ChatGPT

A primeira tabela compara o resultado de segurança primário, a subtriagem, nos 156 prompts apresentados sem referenciação enganosa. Separa o resultado global do subconjunto de prioridade Vermelha, onde o MTS exige avaliação imediata.

Sem a referenciação enganosa, ambas as configurações do DR. INFO subtriaram 18 de 156 prompts (11,5%). O ChatGPT, o LLM de uso geral autónomo aqui testado, subtriou 69 de 156 (44,2%).

A diferença na subtriagem global entre o ChatGPT e cada configuração do DR. INFO foi estatisticamente significativa (teste exato de Fisher p = 1,0 x 10^-10). Os erros restantes do DR. INFO foram geralmente no sentido mais cauteloso, sobretriagem, enquanto os do ChatGPT foram mais frequentemente subtriagem [3].

Segurança por prioridade MTS: DR. INFO e ChatGPT

A taxa global pode ocultar onde ocorrem os erros. Esta tabela desagrega a subtriagem pela prioridade MTS verificada pelos médicos, do Vermelho (imediato) ao Azul (não urgente).

Havia apenas oito permutações de prompts de casos Vermelhos, pelo que a estimativa tem um intervalo de confiança amplo. Ainda assim, os erros observados no modelo autónomo concentraram-se nas categorias de urgência em que esperar é menos tolerável [3].

Resposta a um enquadramento de referenciação enganoso

As decisões clínicas raramente começam de uma folha em branco. Uma nota de referenciação, um diagnóstico preliminar ou uma opinião clínica prévia podem moldar a primeira impressão de um caso. O benchmark testou isto com uma referenciação plausível mas incorreta do médico de família colocada antes da vinheta [3][5].

A subtriagem global não diferiu significativamente em nenhum sistema. Na prioridade Vermelha, o ChatGPT subtriou 8 de 8 casos com a referenciação enganosa, face a 6 de 8 sem ela. Ambas as configurações do DR. INFO permaneceram em zero subtriagem Vermelha [3].

Este é um aviso prático útil. Um auxiliar de triagem deve reavaliar a evidência, em vez de simplesmente reforçar a primeira etiqueta atribuída a um doente.

Resposta a dados clínicos objetivos: DR. INFO com recuperação MTS e ChatGPT

A triagem não é um veredicto único. A um doente pode ser atribuída uma prioridade inicial a partir da história e depois reavaliada quando ficam disponíveis observações, achados do exame ou resultados laboratoriais.

A comparação seguinte usa os mesmos casos primeiro sem, depois com sinais vitais, achados do exame e resultados laboratoriais. Mostra como a taxa de subtriagem de cada sistema diferiu entre as duas entradas; não estabelece porque ocorreram essas diferenças.

A configuração com recuperação MTS foi a única cuja diferença dentro do sistema atingiu o limiar de significância pré-especificado do estudo. Como recupera o fluxograma MTS relevante e os seus limiares no momento da inferência, esta configuração oferece uma forma ancorada no referencial de avaliar o caso; o próprio benchmark não isola a recuperação como única causa da diferença observada [3].

O que uma revisão médica independente encontrou sobre o DR. INFO e o ChatGPT

O estudo não se baseou apenas na pontuação automática. Um médico independente do DR. INFO reviu o subconjunto de alto risco, cego tanto à identidade do sistema como ao rótulo de referência do benchmark [3].

As respostas do ChatGPT foram assinaladas como de alto risco em 107 de 312 respostas (34,3%), face a 24/312 (7,7%) para o DR. INFO Baseline e 20/312 (6,4%) para o DR. INFO com recuperação MTS. Dentro desse subconjunto de alto risco, o revisor confirmou uma subvalorização clinicamente perigosa em 15 de 107 casos do ChatGPT (14,0%) e em 0 casos de qualquer configuração do DR. INFO.

O revisor independente descreveu as divergências residuais do DR. INFO como sobrevalorizações geralmente cautelosas, ao passo que as divergências do ChatGPT arriscaram mais frequentemente uma falsa tranquilização [3].

O que este benchmark de segurança significa para os clínicos que usam LLMs de uso geral

O achado é específico: num benchmark de triagem de emergência estruturada baseada no MTS, a configuração testada do ChatGPT (GPT-5.1) subtriou as apresentações mais sensíveis ao tempo com muito mais frequência do que os sistemas com recuperação de fontes, e a sua taxa de subtriagem subiu, em vez de descer, quando se acrescentaram dados clínicos objetivos [3]. Isto descreve o comportamento de uma configuração de uso geral neste benchmark, não a segurança dos LLMs de uso geral enquanto classe.

Isto não é um veredicto sobre todos os usos da IA de uso geral na saúde. Os modelos gerais podem ser úteis para redação, formação e outras tarefas de apoio clínico. Mas uma tarefa regida por um referencial de decisão explícito e sensível ao tempo favorece um sistema capaz de recuperar e mostrar as regras que aplica. Neste estudo, esse sistema usou também um modelo de base diferente do comparador autónomo, pelo que o benchmark não consegue separar o contributo da recuperação do modelo de base; a comparação limpa está dentro do DR. INFO, onde acrescentar o texto de referência melhorou a segurança com o mesmo modelo de base.

Para enfermeiros, médicos e outros clínicos que usam um LLM de uso geral a par do trabalho de triagem, as perguntas práticas são:

• O sistema consegue recuperar o referencial clínico ou a norma de orientação relevante para esta decisão?
• Cita a fonte usada para a sua recomendação?
• Atualiza a sua avaliação quando as observações e os resultados de exames mudam?
• Preserva a responsabilidade do clínico em vez de se apresentar como o decisor?

O DR. INFO foi concebido em torno destes requisitos: pesquisa uma base de conhecimento clínico curada, estrutura a sua avaliação em torno da evidência recuperada e fornece citações para revisão clínica. No MTS-Bench, acrescentar o texto de referência do MTS a esse fluxo esteve associado ao perfil de segurança global mais forte das três configurações avaliadas.

O que o MTS-Bench não mostra

Este foi um estudo de benchmark, não um ensaio prospetivo em serviços de urgência ou cuidados primários. Testou vinhetas de texto, não a observação direta, o exame e o juízo clínico envolvidos na triagem real.

Tem também limites metodológicos importantes. As saídas do modelo foram amostradas uma vez por prompt; os 39 casos subjacentes produziram várias permutações de prompts relacionadas, em vez de observações totalmente independentes; e apenas oito permutações de prompts contribuíram para a estimativa da prioridade Vermelha. O DR. INFO assenta num modelo de base de fronteira diferente do comparador GPT-5.1 autónomo, pelo que a comparação entre sistemas não pode isolar apenas a recuperação. O benchmark foi também criado pela equipa do DR. INFO, apesar das salvaguardas das comparações dentro do sistema e da revisão médica independente. A replicação independente e a avaliação clínica prospetiva são os passos seguintes necessários [3].

A conclusão

O resultado mais claro neste benchmark é sobre a triagem adaptativa. Quando se acrescentaram sinais vitais e resultados laboratoriais a um caso, o DR. INFO com recuperação MTS melhorou significativamente (subtriagem de 19,2% para 3,8%, p = 0,005), enquanto a configuração testada do GPT-5.1 não melhorou e moveu-se no sentido contrário. Nos mesmos casos, essa configuração do GPT-5.1 subtriou mais vezes no total, sobretudo nas prioridades Vermelha e Laranja. Estes resultados descrevem as configurações testadas neste benchmark, não os LLMs de uso geral enquanto classe [3].

O padrão mais seguro neste benchmark veio do DR. INFO, sobretudo quando pôde aceder ao Sistema de Triagem de Manchester no ponto de uso. Para decisões clínicas de alto risco, o objetivo não deve ser uma IA que soa confiante. Deve ser uma IA capaz de aplicar o referencial relevante, expor a evidência por detrás da sua resposta e permanecer sob supervisão clínica.