Allzweck-LLMs wie ChatGPT in der Notfalltriage: die Ergebnisse von MTS-Bench

Allzweck-Sprachmodelle wie ChatGPT werden von Ärztinnen, Ärzten und Triage-Pflegekräften zunehmend genutzt, oft als informelle Möglichkeit, die Dringlichkeit eines Falls zu prüfen. Die Nutzung ist inzwischen erheblich: Etwa zwei von drei US-Ärzten berichten, KI-Werkzeuge in der klinischen Praxis zu verwenden [1], und einer von fünf britischen Allgemeinärzten berichtet, einen KI-Chatbot zu nutzen [2]. Diese Nutzung wächst schneller als die Evidenz dahinter. Ob diese Werkzeuge für die Triage sicher sind, eine Aufgabe, bei der eine falsche Dringlichkeit die Versorgung verzögern kann, war gegenüber einem strukturierten klinischen Regelwerk nicht getestet [3]. Wir haben MTS-Bench entwickelt, um eine einfache Frage zu beantworten: Weist ein allein genutztes Allzweckmodell die richtige Dringlichkeit zu, und schneidet ein quellengestütztes klinisches System besser ab?

Das zentrale Ergebnis: MTS-Bench fand deutlich unterschiedliche Triage-Sicherheitsprofile für die getesteten Systeme. Bewertet wurde ein eigenständiges Allzweck-LLM, ChatGPT (GPT-5.1), neben DR. INFO, einem agentischen klinischen Assistenten, der Evidenz aus einer kuratierten Wissensbasis abruft. DR. INFO untertriagierte 11,5% der Notfall-Prompts; ChatGPT untertriagierte 44,2% [3].

Der Unterschied war bei zeitkritischen Präsentationen am wichtigsten. DR. INFO machte im Benchmark keine Untertriage-Fehler auf der Roten Prioritätsstufe, auch nicht, wenn eine irreführende Überweisung hinzugefügt wurde. Seine Konfiguration mit Retrieval des Manchester-Triage-Systems (MTS) reagierte zudem angemessener, wenn Vitalwerte, Untersuchungsbefunde und Laborwerte verfügbar wurden.

Allzweck-LLMs wie ChatGPT können für Textentwürfe, Ausbildung und allgemeine klinische Unterstützung nützlich sein. Dieser Sicherheits-Benchmark fand jedoch erhebliche Untertriage, wenn ChatGPT allein für die strukturierte MTS-basierte Notfalltriage eingesetzt wurde [3]. Die Studie ist als Preprint auf medRxiv verfügbar und wurde noch nicht begutachtet.

Warum die Notfalltriage ein anspruchsvoller Sicherheitstest für KI ist

Die Triage entscheidet, wie schnell ein Patient beurteilt werden soll. Im Manchester-Triage-System reicht das von Rot (sofortige Beurteilung) bis Blau (nicht dringend, bis zu 240 Minuten) [4].

Die beiden Fehlerarten sind nicht gleichwertig. Untertriage weist einem Patienten eine niedrigere Priorität zu, als seine Präsentation rechtfertigt, und kann so zeitkritische Versorgung verzögern. Übertriage bindet mehr Ressourcen, verursacht aber nicht dieselbe Verzögerung für einen kranken Patienten. Ein sicheres Triage-Hilfsmittel muss daher am oberen Ende der Akuitätsskala besonders zuverlässig sein.

Deshalb ist das MTS ein nützliches Testfeld. Es ist ein strukturiertes Regelwerk mit expliziten Flussdiagrammen, Diskriminatoren und Zeitvorgaben. Es verlangt von einem System mehr als plausible medizinische Prosa: Es muss ein definiertes Entscheidungsverfahren auf die vorliegenden Informationen anwenden [3][4].

Was MTS-Bench getestet hat

Jeder Fall wurde auf mehrere klinisch relevante Weisen präsentiert:

• mit oder ohne Vitalwerte, Untersuchungsbefunde und Laborwerte;
• mit männlicher und weiblicher Patientenversion; und
• mit oder ohne eine irreführende hausärztliche Überweisung, um zu prüfen, ob das System durch eine autoritative, aber falsche Anfangsrahmung verankert würde.

Die Studie verglich drei Konfigurationen:

• ChatGPT (GPT-5.1), das eigenständige Allzweck-LLM in dieser Studie;
• DR. INFO Baseline, ein agentischer klinischer Assistent, der aus einer kuratierten klinischen Wissensbasis abruft; und
• DR. INFO mit MTS-Retrieval, dasselbe System mit dem Referenztext des Manchester-Triage-Systems zum Zeitpunkt der Anfrage.

Wir haben GPT-5.1 über die API als Allzweck-Vergleich aus zwei Gründen getestet. Es ist das am ehesten verfügbare Äquivalent zu ChatGPT, dem Allzweckmodell, zu dem Klinikerinnen und Kliniker am ehesten als improvisiertes Triage-Hilfsmittel greifen, und steht damit für diese Klasse von Werkzeugen und nicht für ein einzelnes Produkt. Zudem erlaubt ein einzelnes, klar spezifiziertes Modell mit einem festen Prompt, den Vergleich schnell und reproduzierbar durchzuführen. Dies ist eine bewusste Eingrenzung, keine Aussage über Allzweck-LLMs als Kategorie: Andere Modelle, Versionen und Prompts können sich anders verhalten, und eine aktuelle Studie mit neun Modellen fand große Unterschiede im Triage-Fehler zwischen ihnen [6].

Jedes System erhielt 312 Prompts. Die Primäranalyse berichtet die 156 Prompts ohne irreführende Überweisung, sodass die grundlegende Triage-Leistung direkt verglichen werden kann.

Vergleichende Triage-Sicherheitsergebnisse: DR. INFO und ChatGPT

Die erste Tabelle vergleicht das primäre Sicherheitsmaß, die Untertriage, in den 156 Prompts ohne irreführende Überweisung. Sie trennt das Gesamtergebnis vom Roten Subset, bei dem das MTS eine sofortige Beurteilung verlangt.

Ohne die irreführende Überweisung untertriagierten beide DR. INFO-Konfigurationen 18 von 156 Prompts (11,5%). ChatGPT, das hier getestete eigenständige Allzweck-LLM, untertriagierte 69 von 156 (44,2%).

Der Unterschied in der Gesamt-Untertriage zwischen ChatGPT und jeder DR. INFO-Konfiguration war statistisch signifikant (exakter Test nach Fisher p = 1,0 x 10^-10). Die verbleibenden Fehler von DR. INFO gingen eher in die vorsichtigere Richtung, Übertriage, während die von ChatGPT häufiger Untertriage waren [3].

Sicherheit nach MTS-Priorität: DR. INFO und ChatGPT

Die Gesamtrate kann verschleiern, wo Fehler auftreten. Diese Tabelle schlüsselt die Untertriage nach der ärztlich verifizierten MTS-Priorität auf, von Rot (sofort) bis Blau (nicht dringend).

Es gab nur acht Prompt-Permutationen für Rote Fälle, sodass die Schätzung ein breites Konfidenzintervall hat. Dennoch konzentrierten sich die beobachteten Fehler des eigenständigen Modells auf die Dringlichkeitskategorien, in denen Warten am wenigsten toleriert wird [3].

Reaktion auf eine irreführende Überweisungsrahmung

Klinische Entscheidungen beginnen selten mit einem leeren Blatt. Eine Überweisungsnotiz, eine vorläufige Diagnose oder eine frühere ärztliche Einschätzung können den ersten Eindruck eines Falls prägen. Der Benchmark testete dies mit einer plausiblen, aber falschen hausärztlichen Überweisung vor der Vignette [3][5].

Die Gesamt-Untertriage unterschied sich bei keinem System signifikant. Auf der Roten Priorität untertriagierte ChatGPT 8 von 8 Fällen mit der irreführenden Überweisung, verglichen mit 6 von 8 ohne sie. Beide DR. INFO-Konfigurationen blieben bei null Roter Untertriage [3].

Das ist eine nützliche praktische Warnung. Ein Triage-Assistent sollte die Evidenz neu bewerten, statt einfach die erste einem Patienten zugewiesene Kennzeichnung zu bestätigen.

Reaktion auf objektive klinische Daten: DR. INFO mit MTS-Retrieval und ChatGPT

Triage ist kein einmaliges Urteil. Einem Patienten kann anhand seiner Vorgeschichte eine Anfangspriorität zugewiesen und dann neu bewertet werden, wenn Beobachtungen, Untersuchungsbefunde oder Laborwerte verfügbar werden.

Der folgende Vergleich verwendet dieselben Fälle zuerst ohne, dann mit Vitalwerten, Untersuchungsbefunden und Laborwerten. Er zeigt, wie sich die Untertriage-Rate jedes Systems zwischen den beiden Eingaben unterschied; er belegt nicht, warum diese Unterschiede auftraten.

Die MTS-Retrieval-Konfiguration war die einzige, deren systeminterner Unterschied die vordefinierte Signifikanzschwelle der Studie erreichte. Da sie das relevante MTS-Flussdiagramm und seine Schwellen zur Inferenzzeit abruft, bietet diese Konfiguration eine regelwerksgestützte Möglichkeit, den Fall zu beurteilen; der Benchmark selbst isoliert das Retrieval nicht als alleinige Ursache des beobachteten Unterschieds [3].

Was eine unabhängige ärztliche Prüfung über DR. INFO und ChatGPT ergab

Die Studie stützte sich nicht nur auf automatische Bewertung. Eine von DR. INFO unabhängige Ärztin bzw. ein Arzt prüfte das Hochrisiko-Subset, verblindet sowohl gegenüber der Systemidentität als auch gegenüber dem Goldstandard-Label des Benchmarks [3].

ChatGPT-Antworten wurden in 107 von 312 Antworten (34,3%) als hochriskant markiert, verglichen mit 24/312 (7,7%) für DR. INFO Baseline und 20/312 (6,4%) für DR. INFO mit MTS-Retrieval. Innerhalb dieses Hochrisiko-Subsets bestätigte die prüfende Person eine klinisch gefährliche Unterschätzung in 15 von 107 ChatGPT-Fällen (14,0%) und in 0 Fällen beider DR. INFO-Konfigurationen.

Die unabhängige prüfende Person beschrieb die verbleibenden Abweichungen von DR. INFO als generell vorsichtige Überschätzungen, während die Abweichungen von ChatGPT häufiger eine falsche Beruhigung riskierten [3].

Was dieser Sicherheits-Benchmark für Klinikerinnen und Kliniker bedeutet, die Allzweck-LLMs nutzen

Das Ergebnis ist spezifisch: In einem Benchmark der strukturierten MTS-basierten Notfalltriage untertriagierte die getestete ChatGPT-(GPT-5.1)-Konfiguration die zeitkritischsten Präsentationen weit häufiger als die quellengestützten Systeme, und ihre Untertriage-Rate stieg, statt zu fallen, als objektive klinische Daten hinzukamen [3]. Dies beschreibt das Verhalten einer Allzweck-Konfiguration in diesem Benchmark, nicht die Sicherheit von Allzweck-LLMs als Klasse.

Das ist kein Urteil über jede Nutzung von Allzweck-KI im Gesundheitswesen. Allgemeine Modelle können für Textentwürfe, Ausbildung und andere klinische Unterstützungsaufgaben nützlich sein. Aber eine Aufgabe, die einem expliziten, zeitkritischen Entscheidungsrahmen unterliegt, begünstigt ein System, das die angewandten Regeln abrufen und zeigen kann. In dieser Studie nutzte dieses System zudem ein anderes Basismodell als der eigenständige Vergleich, sodass der Benchmark den Beitrag des Retrievals nicht vom Basismodell trennen kann; der saubere Vergleich liegt innerhalb von DR. INFO, wo das Hinzufügen des Rahmentextes die Sicherheit beim selben Basismodell verbesserte.

Für Pflegekräfte, Ärztinnen und Ärzte und andere Klinikerinnen und Kliniker, die ein Allzweck-LLM neben der Triage-Arbeit nutzen, sind die praktischen Fragen:

• Kann das System das für diese Entscheidung relevante klinische Regelwerk oder die Leitlinie abrufen?
• Nennt es die Quelle für seine Empfehlung?
• Aktualisiert es seine Einschätzung, wenn sich Beobachtungen und Testergebnisse ändern?
• Bewahrt es die ärztliche Verantwortung, statt sich als Entscheidungsträger darzustellen?

DR. INFO wurde um diese Anforderungen herum entworfen: Es durchsucht eine kuratierte klinische Wissensbasis, strukturiert seine Einschätzung um die abgerufene Evidenz und liefert Zitate zur ärztlichen Prüfung. In MTS-Bench war das Hinzufügen des MTS-Referenztextes zu diesem Ablauf mit dem stärksten Gesamt-Sicherheitsprofil der drei bewerteten Konfigurationen verbunden.

Was MTS-Bench nicht zeigt

Dies war eine Benchmark-Studie, keine prospektive Studie in Notaufnahmen oder der Primärversorgung. Getestet wurden Textvignetten, nicht die direkte Beobachtung, Untersuchung und klinische Urteilsbildung, die zur echten Triage gehören.

Sie hat auch wichtige methodische Grenzen. Die Modellausgaben wurden einmal pro Prompt gezogen; die 39 zugrunde liegenden Fälle erzeugten mehrere verwandte Prompt-Permutationen statt vollständig unabhängiger Beobachtungen; und nur acht Prompt-Permutationen trugen zur Schätzung der Roten Priorität bei. DR. INFO baut auf einem anderen fortschrittlichen Basismodell als der eigenständige GPT-5.1-Vergleich, sodass der systemübergreifende Vergleich das Retrieval nicht allein isolieren kann. Der Benchmark wurde zudem vom DR. INFO-Team erstellt, trotz der Absicherungen durch systeminterne Vergleiche und die unabhängige ärztliche Prüfung. Unabhängige Replikation und prospektive klinische Evaluierung sind die notwendigen nächsten Schritte [3].

Das Fazit

Das deutlichste Ergebnis in diesem Benchmark betrifft die adaptive Triage. Als Vitalwerte und Laborergebnisse zu einem Fall hinzukamen, verbesserte sich DR. INFO mit MTS-Retrieval signifikant (Untertriage von 19,2% auf 3,8%, p = 0,005), während sich die getestete GPT-5.1-Konfiguration nicht verbesserte und sich in die entgegengesetzte Richtung bewegte. Bei denselben Fällen untertriagierte diese GPT-5.1-Konfiguration insgesamt häufiger, am stärksten bei den Prioritäten Rot und Orange. Diese Ergebnisse beschreiben die getesteten Konfigurationen in diesem Benchmark, nicht Allzweck-LLMs als Klasse [3].

Das sicherere Muster in diesem Benchmark kam von DR. INFO, besonders wenn es das Manchester-Triage-System am Einsatzort abrufen konnte. Bei folgenreichen klinischen Entscheidungen sollte das Ziel keine KI sein, die selbstsicher klingt. Es sollte eine KI sein, die das relevante Regelwerk anwenden, die Evidenz hinter ihrer Antwort offenlegen und unter ärztlicher Aufsicht bleiben kann.