Onderzoek·2 oktober 2025·6 min leestijd

DR. INFO leidt op OpenAI's HealthBench Hard Subset (1000 vragen)

Moderne klinische AI-systemen moeten worden geëvalueerd in realistische zorgomgevingen waar ambiguïteit, onvolledige informatie en patiëntveiligheid centraal staan. Traditionele medische benchmarks richten zich op kennisherinnering, maar echte patiëntinteracties vereisen contextueel oordeelsvermogen, navigatie bij onzekerheid en communicatie die aansluit bij de klinische praktijk. Toonaangevend onderzoek heeft aangetoond dat conventionele testkaders de gereedheid van modellen voor echte klinische workflows aanzienlijk kunnen overschatten.

Waarom HealthBench ertoe doet

OpenAI introduceerde HealthBench om modelgedrag in realistische medische gesprekken te meten. Deze benchmark bevat vijfduizend klinisch onderbouwde scenario's, elk beoordeeld door artsenrubrieken die het volgende evalueren:

Klinische nauwkeurigheid
Volledigheid en redeneerdiepte
Contextverkenning en veiligheidsafstemming
Communicatieduidelijkheid
Instructienaleving

Het Hard-subset bevat duizend complexe en risicogevoelige casussen, zoals spoedtriage, vragen met beperkte anamnese en beperkingen in de wereldwijde zorgverlening.

DR.INFO-resultaten

0.51

HealthBench Hard Score

1000

Testgevallen

0.54

Representatieve test

100

Steekproefgrootte

DR.INFO behaalde een HealthBench-score van 0,51 op de Hard-set (1000 casussen) en overtrof daarmee de gerapporteerde scores van toonaangevende frontier-modellen. Op een representatieve test van 100 casussen scoorde DR.INFO 0,54, hoger dan OpenEvidence en Pathway op het gebied van communicatie, nauwkeurigheid, volledigheid, contextbewustzijn en instructienaleving.

Deze resultaten bevestigen de waarde van medische retrieval-augmented architecturen en sluiten aan bij bevindingen dat domeinafgestemde systemen beter presteren dan algemene modellen in klinisch redeneren en veiligheidsomgevingen.

Waarom USMLE niet voldoende is

De United States Medical Licensing Examination (USMLE) blijft een sterke indicator van fundamentele medische kennis, maar is voornamelijk een gestructureerd examen dat is opgebouwd rond gecontroleerde meerkeuzescenario's. Deze formats meten biomedische kennis en diagnostisch redeneren, maar weerspiegelen geen echte klinische gesprekspatronen.

USMLE-achtige evaluatie schiet tekort omdat het het volgende niet test:

Gedrag bij onzekerheid
Klinische dialoog over meerdere beurten
Contextverkenning wanneer patiëntinformatie onvolledig is
Veiligheidssignalering en escalatiebeslissingen
Omgevingen met variabele middelen
Patiëntgerichte communicatie

Onderzoek heeft aangetoond dat hoge prestaties op examenstijl geen garantie bieden voor veilige besluitvorming of betrouwbaarheid in gesprekken in open, echte patiëntomgevingen. HealthBench daarentegen vangt de gedrags- en veiligheidscompetenties die vereist zijn voor daadwerkelijke inzet in zorgomgevingen.

Conclusie

DR.INFO demonstreert geavanceerd klinisch redeneren en veiligheidsafgestemd conversatiegedrag in complexe omgevingen. Hoewel de HealthBench-score van 0,51 betekenisvolle vooruitgang aangeeft, benadrukt deze ook het belang van voortdurende ontwikkeling. Gedragsniveau-benchmarks zoals HealthBench bieden een realistischer pad voor het valideren van betrouwbare medische AI dan kennisherhalingsexamens alleen.

Voor een uitgebreide analyse van onze methodologie, ons evaluatiekader en gedetailleerde resultaten, lees ons volledige onderzoeksrapport: DR.INFO: Clinical Reasoning Capabilities of LLMs through Evidence Grounded Medical Search.

Belangrijke referenties

[1]Nori H et al. Capabilities of GPT models in clinical reasoning. Microsoft Research, 2023.

[2]Nori H et al. Sequential Diagnosis with Language Models. Microsoft Research, 2025.

[3]Arora R K et al. HealthBench: Evaluating Large Language Models Toward Improved Human Health. OpenAI, 2025.

[4]Singhal K et al. Large Language Models Encode Clinical Knowledge. Nature, 2023.

[5]He K Y et al. Retrieval Augmented Generation for Medical Fitness Assessment. NPJ Digital Medicine, 2025.

Ervaar het toonaangevende medische AI-platform dat wordt vertrouwd door zorgprofessionals wereldwijd. Sluit u aan bij duizenden artsen die vertrouwen op DR. INFO voor evidencegebaseerde medische inzichten.

Begin met DR. INFO→