Algemene LLM's zoals ChatGPT in spoedtriage: de bevindingen van MTS-Bench

Algemene taalmodellen zoals ChatGPT worden steeds vaker gebruikt door artsen en triageverpleegkundigen, vaak als informele manier om te controleren hoe urgent een geval is. Het gebruik is inmiddels aanzienlijk: ongeveer twee op de drie Amerikaanse artsen zeggen AI-hulpmiddelen in de klinische praktijk te gebruiken [1], en een op de vijf Britse huisartsen meldt een AI-chatbot te gebruiken [2]. Dat gebruik groeit sneller dan het bewijs erachter. Of deze hulpmiddelen veilig zijn voor triage, een taak waarbij een verkeerde urgentie de zorg kan vertragen, was niet getoetst aan een gestructureerd klinisch kader [3]. We bouwden MTS-Bench om een eenvoudige vraag te beantwoorden: kent een algemeen model, alleen gebruikt, de juiste urgentie toe, en doet een op ophaling gebaseerd klinisch systeem het beter?

De kernbevinding: MTS-Bench vond wezenlijk verschillende triageveiligheidsprofielen voor de geteste systemen. Het beoordeelde een op zichzelf staand algemeen LLM, ChatGPT (GPT-5.1), naast DR. INFO, een agentische klinische assistent die bewijs ophaalt uit een samengestelde kennisbasis. DR. INFO ondertriageerde 11,5% van de spoedcasusprompts; ChatGPT ondertriageerde 44,2% [3].

Het verschil was het belangrijkst bij tijdkritische presentaties. DR. INFO maakte in de benchmark geen ondertriagefouten op Rode prioriteit, ook niet wanneer een misleidende verwijzing werd toegevoegd. De configuratie met ophaling van het Manchester Triage System (MTS) reageerde ook passender toen vitale functies, onderzoeksbevindingen en laboratoriumuitslagen beschikbaar kwamen.

Algemene LLM's zoals ChatGPT kunnen nuttig zijn voor opstellen, onderwijs en brede klinische ondersteuning. Deze veiligheidsbenchmark vond echter aanzienlijke ondertriage toen ChatGPT alleen werd gebruikt voor gestructureerde MTS-gebaseerde spoedtriage [3]. De studie is beschikbaar als preprint op medRxiv en is nog niet door vakgenoten beoordeeld.

Waarom spoedtriage een lastige veiligheidstoets is voor AI

Triage bepaalt hoe snel een patiënt moet worden beoordeeld. In het Manchester Triage System loopt dat van Rood (onmiddellijke beoordeling) tot Blauw (niet urgent, tot 240 minuten) [4].

De twee soorten fouten zijn niet gelijk. Ondertriage geeft een patiënt een lagere prioriteit dan de presentatie rechtvaardigt, wat tijdkritische zorg kan vertragen. Overtriage kost meer middelen, maar veroorzaakt niet dezelfde vertraging voor een zieke patiënt. Een veilig triagehulpmiddel moet daarom bijzonder betrouwbaar zijn aan de kant met de hoogste urgentie.

Daarom is het MTS een nuttig proefterrein. Het is een gestructureerd kader met expliciete stroomschema's, discriminatoren en tijddoelen. Het vraagt van een systeem meer dan geloofwaardige medische tekst: het moet een gedefinieerde beslisprocedure toepassen op de informatie die het voor zich heeft [3][4].

Wat MTS-Bench heeft getest

Elk geval werd op meerdere klinisch relevante manieren gepresenteerd:

• met of zonder vitale functies, onderzoeksbevindingen en laboratoriumuitslagen;
• met mannelijke en vrouwelijke patiëntversies; en
• met of zonder een misleidende huisartsverwijzing, om te toetsen of het systeem verankerd zou raken door een gezaghebbende maar onjuiste eerste framing.

De studie vergeleek drie configuraties:

• ChatGPT (GPT-5.1), het op zichzelf staande algemene LLM dat in deze studie is beoordeeld;
• DR. INFO Baseline, een agentische klinische assistent die ophaalt uit een samengestelde klinische kennisbasis; en
• DR. INFO met MTS-ophaling, hetzelfde systeem met de referentietekst van het Manchester Triage System beschikbaar op het moment van de vraag.

We testten GPT-5.1 via de API als algemene vergelijking om twee redenen. Het is het dichtstbijzijnde beschikbare equivalent van ChatGPT, het algemene model waar clinici het vaakst naar grijpen als informeel triagehulpmiddel, en staat dus voor die klasse van hulpmiddelen en niet voor één product. Bovendien maakt één goed gespecificeerd model met een vaste prompt de vergelijking snel en reproduceerbaar. Dit is een bewuste afbakening, geen uitspraak over algemene LLM's als categorie: andere modellen, versies en prompts kunnen zich anders gedragen, en een recente studie met negen modellen vond grote variatie in triagefout tussen hen [6].

Elk systeem kreeg 312 prompts. De primaire analyse rapporteert de 156 prompts zonder de misleidende verwijzing, zodat de basistriageprestatie rechtstreeks kan worden vergeleken.

Vergelijkende triageveiligheidsresultaten: DR. INFO en ChatGPT

De eerste tabel vergelijkt de primaire veiligheidsuitkomst, ondertriage, in de 156 prompts zonder misleidende verwijzing. Ze scheidt het totale resultaat van het Rode subset, waar het MTS onmiddellijke beoordeling vereist.

Zonder de misleidende verwijzing ondertriageerden beide DR. INFO-configuraties 18 van de 156 prompts (11,5%). ChatGPT, het hier geteste op zichzelf staande algemene LLM, ondertriageerde 69 van de 156 (44,2%).

Het verschil in totale ondertriage tussen ChatGPT en elke DR. INFO-configuratie was statistisch significant (exacte toets van Fisher p = 1,0 x 10^-10). De resterende fouten van DR. INFO gingen doorgaans de voorzichtiger kant op, overtriage, terwijl die van ChatGPT vaker ondertriage waren [3].

Veiligheid per MTS-prioriteit: DR. INFO en ChatGPT

Het totale percentage kan verhullen waar fouten optreden. Deze tabel splitst de ondertriage uit naar de door artsen geverifieerde MTS-prioriteit, van Rood (onmiddellijk) tot Blauw (niet urgent).

Er waren slechts acht promptpermutaties voor Rode gevallen, dus de schatting heeft een breed betrouwbaarheidsinterval. Toch concentreerden de waargenomen fouten van het op zichzelf staande model zich in de urgentiecategorieën waar wachten het minst te verdragen is [3].

Reactie op een misleidende verwijzingsframing

Klinische beslissingen beginnen zelden met een blanco pagina. Een verwijsnotitie, een voorlopige diagnose of een eerdere klinische mening kunnen de eerste indruk van een geval vormen. De benchmark toetste dit met een geloofwaardige maar onjuiste huisartsverwijzing die vóór het vignet werd geplaatst [3][5].

De totale ondertriage verschilde voor geen enkel systeem significant. Op de Rode prioriteit ondertriageerde ChatGPT 8 van de 8 gevallen met de misleidende verwijzing, tegenover 6 van de 8 zonder. Beide DR. INFO-configuraties bleven op nul Rode ondertriage [3].

Dit is een nuttige praktische waarschuwing. Een triagehulpmiddel moet het bewijs opnieuw beoordelen in plaats van simpelweg het eerste label dat aan een patiënt is gehangen te bevestigen.

Reactie op objectieve klinische gegevens: DR. INFO met MTS-ophaling en ChatGPT

Triage is geen eenmalig oordeel. Een patiënt kan op basis van de voorgeschiedenis een beginprioriteit krijgen en vervolgens opnieuw worden beoordeeld wanneer observaties, onderzoeksbevindingen of laboratoriumuitslagen beschikbaar komen.

De volgende vergelijking gebruikt dezelfde gevallen eerst zonder, dan met vitale functies, onderzoeksbevindingen en laboratoriumuitslagen. Ze laat zien hoe het ondertriagepercentage van elk systeem verschilde tussen de twee invoeren; ze stelt niet vast waarom die verschillen optraden.

De MTS-ophaalconfiguratie was de enige waarvan het verschil binnen het systeem de vooraf bepaalde significantiedrempel van de studie bereikte. Omdat ze het relevante MTS-stroomschema en de drempels op het moment van inferentie ophaalt, biedt deze configuratie een op het kader gefundeerde manier om het geval te beoordelen; de benchmark zelf isoleert ophaling niet als enige oorzaak van het waargenomen verschil [3].

Wat een onafhankelijke artsbeoordeling vond over DR. INFO en ChatGPT

De studie steunde niet alleen op geautomatiseerde scoring. Een van DR. INFO onafhankelijke arts beoordeelde het hoogrisicosubset, geblindeerd voor zowel de systeemidentiteit als het gouden-standaardlabel van de benchmark [3].

ChatGPT-antwoorden werden als hoog risico gemarkeerd in 107 van de 312 antwoorden (34,3%), tegenover 24/312 (7,7%) voor DR. INFO Baseline en 20/312 (6,4%) voor DR. INFO met MTS-ophaling. Binnen dat hoogrisicosubset bevestigde de beoordelaar een klinisch gevaarlijke te lage inschatting in 15 van de 107 ChatGPT-gevallen (14,0%) en in 0 gevallen van beide DR. INFO-configuraties.

De onafhankelijke beoordelaar omschreef de resterende afwijkingen van DR. INFO als doorgaans voorzichtige te hoge inschattingen, terwijl de afwijkingen van ChatGPT vaker een valse geruststelling riskeerden [3].

Wat deze veiligheidsbenchmark betekent voor clinici die algemene LLM's gebruiken

De bevinding is specifiek: in een benchmark van gestructureerde MTS-gebaseerde spoedtriage ondertriageerde de geteste ChatGPT-(GPT-5.1)-configuratie de meest tijdkritische presentaties veel vaker dan de gefundeerde systemen, en het ondertriagepercentage steeg in plaats van te dalen toen objectieve klinische gegevens werden toegevoegd [3]. Dit beschrijft het gedrag van één algemene configuratie in deze benchmark, niet de veiligheid van algemene LLM's als klasse.

Dat is geen oordeel over elk gebruik van algemene AI in de zorg. Algemene modellen kunnen nuttig zijn voor opstellen, onderwijs en andere klinische ondersteuningstaken. Maar een taak die wordt beheerst door een expliciet, tijdgevoelig beslissingskader is gebaat bij een systeem dat de toegepaste regels kan ophalen en tonen. In deze studie gebruikte dat systeem bovendien een ander basismodel dan de op zichzelf staande vergelijking, dus de benchmark kan de bijdrage van ophaling niet scheiden van het basismodel; de zuivere vergelijking zit binnen DR. INFO, waar het toevoegen van de kadertekst de veiligheid met hetzelfde basismodel verbeterde.

Voor verpleegkundigen, artsen en andere clinici die een algemeen LLM naast triagewerk gebruiken, zijn de praktische vragen:

• Kan het systeem het klinische kader of de richtlijn ophalen die voor deze beslissing relevant is?
• Citeert het de bron die voor de aanbeveling is gebruikt?
• Werkt het zijn beoordeling bij wanneer observaties en testuitslagen veranderen?
• Behoudt het de verantwoordelijkheid van de clinicus in plaats van zich als de beslisser voor te doen?

DR. INFO is rond deze eisen ontworpen: het doorzoekt een samengestelde klinische kennisbasis, structureert zijn beoordeling rond het opgehaalde bewijs en levert citaties voor klinische controle. In MTS-Bench was het toevoegen van de MTS-referentietekst aan die workflow geassocieerd met het sterkste algehele veiligheidsprofiel van de drie beoordeelde configuraties.

Wat MTS-Bench niet laat zien

Dit was een benchmarkstudie, geen prospectieve studie op spoedeisende hulp of in de eerste lijn. Het testte tekstvignetten, niet de directe observatie, het onderzoek en het klinische oordeel die bij echte triage horen.

Het heeft ook belangrijke methodologische grenzen. Modeluitvoer werd eenmaal per prompt bemonsterd; de 39 onderliggende gevallen leverden meerdere verwante promptpermutaties op in plaats van volledig onafhankelijke waarnemingen; en slechts acht promptpermutaties droegen bij aan de schatting van de Rode prioriteit. DR. INFO is gebouwd op een ander toonaangevend basismodel dan de op zichzelf staande GPT-5.1-vergelijking, dus de vergelijking tussen systemen kan ophaling niet alleen isoleren. De benchmark is bovendien gemaakt door het DR. INFO-team, ondanks de waarborgen van vergelijkingen binnen het systeem en de onafhankelijke artsbeoordeling. Onafhankelijke replicatie en prospectieve klinische evaluatie zijn de noodzakelijke volgende stappen [3].

De slotsom

Het duidelijkste resultaat in deze benchmark gaat over adaptieve triage. Toen vitale functies en laboratoriumuitslagen aan een geval werden toegevoegd, verbeterde DR. INFO met MTS-ophaling significant (ondertriage van 19,2% naar 3,8%, p = 0,005), terwijl de geteste GPT-5.1-configuratie niet verbeterde en de andere kant op bewoog. Bij dezelfde gevallen ondertriageerde die GPT-5.1-configuratie in totaal vaker, het meest bij de prioriteiten Rood en Oranje. Deze resultaten beschrijven de geteste configuraties in deze benchmark, niet algemene LLM's als klasse [3].

Het veiligere patroon in deze benchmark kwam van DR. INFO, vooral wanneer het het Manchester Triage System op de plaats van gebruik kon raadplegen. Voor beslissingen met grote gevolgen zou het doel geen AI moeten zijn die zelfverzekerd klinkt. Het zou een AI moeten zijn die het relevante kader kan toepassen, het bewijs achter zijn antwoord kan tonen en onder klinisch toezicht blijft.