Organisaties die een taalmodel selecteren voor een gevoelige toepassing, stoten al snel op een praktisch probleem. Benchmarkscores zeggen weinig over wat een model werkelijk kan, omdat ze allerlei vaardigheden in één getal verpakken. Een model dat hoog scoort, kan dat doen omdat de benchmark vragen bevatte die toevallig goed bij dat model passen.
BenchMIRT, dat Hugging Face op 1 september 2026 voorstelde, pakt dit probleem aan.
Aggregatie verbergt wat er werkelijk gebeurt
BenchMIRT keert dat probleem om. In plaats van een totaalscore berekent de methode voor elke individuele vraag hoeveel die bijdraagt aan het meten van een specifieke onderliggende vaardigheid. Daarvoor gebruikt het multidimensionale Item Response Theory, kortweg MIRT. Die techniek maakt het mogelijk om meerdere vaardigheidsdimensies tegelijk te schatten op basis van hoe een model presteert op een grote set vragen.
Hugging Face trainde BenchMIRT op resultaten van honderd taalmodellen, verspreid over zestien benchmarks en meer dan 34.000 vragen. Cruciaal: de onderzoekers gaven niet aan welke benchmark welke vaardigheid mat. Uit de data zelf kwamen twee dominante dimensies naar voren: veiligheid en algemene redeneervaardigheid.
Wat de promptniveau-analyse oplevert
Het feit dat elke vraag een eigen betrouwbaarheidsschatting krijgt, maakt het mogelijk om te selecteren welke vragen de sterkste signalen leveren. Volgens de metingen van Hugging Face presteert BenchMIRT bij het voorspellen of een model een niet-gezagde vraag correct beantwoordt in 79 procent van de gevallen. Een eenvoudigere aanpak die simpelweg de overall benchmarkprestatie als voorspeller gebruikt, haalt daarbij 70 procent.
Wanneer we enkel de 10 procent vragen met de hoogste informatiewaarde selecteren, blijft hetzelfde beeld overeind over welke modellen sterker of zwakker zijn op de onderliggende vaardigheid. Met andere woorden: een smaller, gerichter evaluatieprotocol kan dezelfde rangorde opleveren als een volledige benchmarkrun.
Wat dit betekent voor governance in de praktijk
Ten eerste wordt het mogelijk om risicoscores toe te kennen die aansluiten bij de specifieke vaardigheid die ertoe doet. Een model dat uitstekend scoort op algemene redeneervaardigheid maar zwakker is op veiligheid, kan als zodanig gemarkeerd worden. Dat maakt de governance-conversatie concreter dan een discussie over een geaggregeerd rapportcijfer.
Ten tweede biedt de promptniveau-analyse een voordeel voor compliance-rapportering. Waar een traditioneel rapport enkel een totaalscore toont, maakt BenchMIRT zichtbaar welke vragen het model correct beantwoordde en welke niet. Dat geeft een auditor of interne reviewer meer houvast dan een cijfer zonder context.
Waar de grenzen liggen
De twee dimensies die BenchMIRT identificeerde, kwamen naar voren uit een specifieke set van zestien benchmarks. Daarnaast zijn de prestatiecijfers afkomstig van de BenchMIRT-ontwikkelaars zelf.
Voor organisaties die vandaag een evaluatieframework nodig hebben, is dat geen reden om te wachten. Wat BenchMIRT toevoegt, is een concrete methode om geaggregeerde benchmarkscores te ontleden en een manier om te bepalen welke evaluatievragen het sterkste signaal leveren.
Benieuwd wat dit voor uw bedrijf kan betekenen?
We denken graag vrijblijvend met u mee over de mogelijkheden voor uw KMO.
Plan een gesprek →