Iemand presenteert een nieuw AI-model aan je directieteam. “Driehonderd miljard parameters,” zegt de pitch. “Beste score op alle benchmarks.” De tafel knikt. Maar wat betekent dat eigenlijk? Is een model met driehonderd miljard parameters beter dan een model met zeventig miljard? En als dat zo is, waarom presteert het kleinere model dan soms beter op precies jouw taak?
De voorgaande pagina’s in deze pillar beschrijven hoe een AI-model wordt opgebouwd: de trainingsdata, de pretraining, de posttraining. Deze pagina brengt die kennis samen rond de vraag die er in de praktijk toe doet. Niet “welk model is het grootst?” maar “hoe beoordeel je of een model goed genoeg is voor wat jij ermee wilt doen?”
Het getal dat iedereen kent
Wie iets leest over AI-modellen, stuit al snel op parametertallen. GPT-3 had 175 miljard parameters. Huidige modellen zitten in de honderden miljarden tot ver boven een biljoen. Die getallen zijn indrukwekkend. Ze zijn ook misleidend als je ze verkeerd leest.
Een parameter is een interne instelling van het model, een getal dat tijdens de training is bijgesteld tot het model de patronen in de trainingsdata heeft vastgelegd. Hoe meer parameters, hoe meer patronen het model in principe kan opslaan. Dat klinkt als een directe relatie: meer parameters, beter model.
Maar zo werkt het niet.
Capaciteit versus kwaliteit
Meer parameters betekenen meer capaciteit: het model kan complexere verbanden vastleggen, meer nuance aanbrengen, meer kennis opslaan. Maar capaciteit is niet hetzelfde als kwaliteit. Een grotere opslagruimte maakt een bibliotheek niet beter. De kwaliteit van de collectie en de ordening bepalen dat.
Precies zo is het bij AI-modellen. Een model met honderd miljard parameters dat is getraind op zorgvuldig samengestelde data en uitstekend geposttraind, presteert op veel taken beter dan een model met driehonderd miljard parameters dat is getraind op vervuilde data met een matige posttraining. Het parametergetal vertelt je iets over het potentieel. Het vertelt je niets over het resultaat.
De brandstof: kwaliteit van trainingsdata
Wat wél bepaalt hoe goed een model presteert, begint bij de trainingsdata. Wat niet in de data zit, komt niet uit het model. Die regel is hard.
Omvang, diversiteit en curatie
Drie factoren bepalen de kwaliteit van trainingsdata. De eerste is omvang: moderne modellen worden getraind op biljoenen stukken tekst, een hoeveelheid die gelijkstaat aan miljoenen boeken. Die schaal is nodig om de breedte aan patronen vast te leggen die het model inzetbaar maakt voor uiteenlopende taken.
De tweede factor is diversiteit. Een model dat overwegend is getraind op Engelstalige tekst presteert merkbaar minder op Nederlands. Een model dat veel wetenschappelijke tekst heeft verwerkt maar weinig juridische, schrijft betere onderzoekssamenvattingen dan contractanalyses. De samenstelling van de trainingsdata drukt zich direct uit in de sterke en zwakke kanten van het model.
De derde factor is curatie: het filteren, opschonen en samenstellen van de dataset. De ruwe data van het web zijn vervuild met spam, duplicaten en misleidende inhoud. Modelbouwers investeren maanden in het opschonen. Die investering is minstens zo bepalend voor het eindresultaat als de schaal van het model.
Synthetische data
Hier zit een verschuiving die steeds meer gaat meespelen. De voorraad hoogwaardige, door mensen geschreven tekst is eindig. Onderzoekers schatten dat de beste publiek beschikbare trainingstekst uitgeput raakt. Modelbouwers vullen het gat met synthetische data: tekst die door AI-modellen zelf is gegenereerd als trainingsmateriaal voor de volgende generatie. Rond 2025 bevatten volgens schattingen al ongeveer driekwart van nieuwe webpagina’s deels AI-gegenereerde tekst. Dat aandeel groeit snel.
Dat klinkt als een elegant probleem: train de volgende generatie op de output van de vorige. Maar als een model steeds meer traint op tekst die door eerdere modellen is geproduceerd, ontstaat een risico dat onderzoekers model collapse noemen. Het model versterkt zijn eigen patronen, verliest variatie en wordt gelijkvormiger. Vergelijk het met een fotokopie van een fotokopie: elke generatie verliest iets van het origineel, en na voldoende herhalingen is het resultaat vlak en onscherp.
Wat betekent dit als je modellen beoordeelt? Dat de bron van de trainingsdata ertoe doet. Die informatie is niet altijd beschikbaar, want de meeste modelbouwers publiceren hun datasamenstellingen niet volledig. Maar het is een vraag die het stellen waard is.
Het vakmanschap achter het model
Dit is het punt dat het vaakst onderschat wordt. Parameters en data krijgen alle aandacht in persberichten. Maar het verschil tussen een goed en een uitstekend model zit vaak in iets lastiger te kwantificeren: de ontwerpkeuzes bij elke stap van het trainingsproces.
Honderden keuzes
De voorgaande clusters beschrijven twee fases die elk hun eigen bijdrage leveren. Pretraining legt de kennisbasis. Posttraining vormt het gedrag. Bij pretraining gaat het om de trainingsopgave, de architectuur van het netwerk en de schaal waarop wordt getraind. Bij posttraining om de kwaliteit van de fine-tuning-voorbeelden, de aanpak van preference learning en de alignment-keuzes.
Twee modellen met elk honderd miljard parameters, getraind op vergelijkbare omvang aan data, kunnen op dezelfde vraag totaal verschillende antwoorden geven. In toon, in diepte, in kwaliteit. Dat verschil zit in de honderden ontwerpkeuzes die modelbouwers bij elke stap maken. Het is het vakmanschap achter het model. En het is niet af te lezen aan een specificatieblad.
Vergelijk het met twee restaurants die dezelfde ingrediënten inkopen op dezelfde markt. Wat het ene restaurant uitzonderlijk maakt en het andere middelmatig, zit in de receptuur, de timing en de keuze van de chef. Bij AI-modellen werkt het niet anders.
Distillatie: waarom kleiner soms slim genoeg is
Wie modellen van aanbieders bekijkt, ziet bijna altijd een menu. Er is een groot, krachtig vlaggenschipmodel en daarnaast een of meer kleinere varianten die sneller en goedkoper zijn. De namen en de precieze indeling verschuiven voortdurend, maar het patroon is stabiel: elke grote aanbieder biedt meerdere modellen aan in verschillende grootteklassen.
Kennis overdragen
Die kleinere modellen zijn niet zomaar afgeslankte versies. Ze zijn vaak het product van distillatie: een trainingstechniek waarbij een groot model zijn kennis overdraagt aan een kleiner model. Het kleine model traint niet rechtstreeks op de originele data, maar op de output van het grote model. Het leert daarbij niet alleen de antwoorden, maar ook de subtiele patronen in hoe het grote model redeneert en formuleert.
Het resultaat is een model dat een substantieel deel van de capaciteit behoudt, maar een fractie van de kosten en de verwerkingstijd vergt. Op veel standaardtaken presteert een gedistilleerd model bijna even goed als het grote model. Op complexe taken waar diep redeneren of brede kennis nodig is, valt het verschil op.
De strategische afweging
Hier zit een inzicht dat direct raakt aan de beslissingen die je als organisatie neemt. Je hebt niet altijd het grootste model nodig. Een e-mailsamenvatter, een FAQ-beantwoorder, een classificatietool die documenten sorteert: voor die taken is een kleiner, gedistilleerd model vaak de betere keuze. Sneller, goedkoper, en goed genoeg. Het grote model reserveer je voor de taken waar de extra capaciteit meetbaar verschil maakt.
Modellen kiezen is geen kwestie van “het beste model nemen.” Het is een kwestie van het juiste model kiezen voor de juiste taak.
Benchmarks: hoe vergelijk je modellen?
Als parametertallen niet genoeg zeggen en trainingsdata grotendeels geheim zijn, hoe vergelijk je dan modellen? De AI-wereld heeft daarvoor een gereedschap dat iedereen tegenkomt maar weinig mensen goed lezen: benchmarks.
Een benchmark is een gestandaardiseerde test waarmee de prestaties van AI-modellen onderling worden vergeleken. Vergelijk het met een rijexamen voor AI: een vaste set opgaven die elk model onder dezelfde omstandigheden moet maken, zodat je de scores kunt vergelijken.
De verscheidenheid
Er bestaan tientallen benchmarks, elk gericht op een andere vaardigheid. Sommige testen brede kennis over tientallen vakgebieden. Andere testen wetenschappelijk redeneren, of het vermogen om werkende code te schrijven. Weer andere laten echte gebruikers twee modellen blind vergelijken en stemmen welk antwoord beter is.
Die verscheidenheid is bewust. Geen enkele benchmark vangt alles wat een model kan. Een model dat hoog scoort op kennisvragen kan matig scoren op coderingstaken. Wie een model beoordeelt op één benchmarkscore mist het beeld, net zoals je een sollicitant niet beoordeelt op alleen een IQ-test.
De keerzijde
Maar benchmarks hebben ook serieuze beperkingen. Oudere tests raken uitgespeeld: de topmodellen scoren zo dicht bij elkaar dat het verschil niet meer betekenisvol is. Modelbouwers kiezen in hun persberichten de benchmarks waar zij het best op scoren. En er zijn aanwijzingen dat sommige modellen beter scoren doordat ze tijdens training zijn blootgesteld aan de testvragen, waardoor de score eerder geheugen dan vaardigheid weerspiegelt.
Het belangrijkste inzicht over benchmarks: een benchmarkscore vertelt hoe een model presteert op die specifieke test. Het vertelt niet hoe dat model presteert op jouw specifieke taak, met jouw data, in jouw context. Het verschil tussen een benchmarkscore en de prestatie in de praktijk is reëel en vaak groter dan je zou verwachten.
→ Lees meer: Benchmarks: hoe lees je een benchmarkclaim? (cluster 2.5a)
Voorbeelden
Medische kliniek
Een ziekenhuis evalueert twee AI-modellen voor het ondersteunen van artsen bij het samenvatten van patiëntdossiers. Het ene is het vlaggenschipmodel van de aanbieder: het grootst, het duurst, de hoogste benchmarkscores. Het andere is een kleiner, gedistilleerd model uit dezelfde familie. Na een proef op honderd dossiers blijkt het kleinere model de samenvattingen sneller te leveren en qua nauwkeurigheid vergelijkbaar te scoren. Op de complexe gevallen waar meerdere aandoeningen samenkomen, mist het kleinere model soms een nuance die het grote model wel oppakt. Het ziekenhuis kiest een hybride aanpak: het kleinere model voor de standaardsamenvattingen, het grotere voor de complexe gevallen. De kostenbesparing is aanzienlijk. De kwaliteit op beide niveaus voldoende. Het inzicht dat dit oplevert: niet de vraag “welk model is het best?” maar “welk model past bij welke taak?”
B2B-dienstverlener
Een adviesbureau overweegt een overstap na een vendorpresentatie met indrukwekkende benchmarkscores. De IT-directeur besluit eerst te testen op de taken die het bureau dagelijks uitvoert: offerteteksten schrijven, rapporten samenvatten, interne kennisdocumenten doorzoeken. Het nieuwe model scoort op offerteteksten inderdaad beter. Op rapporten vergelijkbaar. Maar op de interne kennisdocumenten, vol domeinspecifiek jargon, presteert het merkbaar slechter. Geen enkele benchmark test de specifieke combinatie van taken en data van dit bureau. Het bureau houdt het bestaande model en zet het nieuwe alleen in voor de taak waar het meetbaar beter presteert. Geen grote overstap. Een gerichte aanvulling.
Zelfstandig professional
Een freelance copywriter gebruikt een kleiner, goedkoper AI-model voor eerste concepten. Een collega adviseert haar het duurdere topmodel te nemen. In plaats van blind over te stappen, test ze beide op tien recente opdrachten. Het grote model levert rijkere teksten met meer variatie in toon. Maar de tijdswinst per opdracht is marginaal. Ze redigeert elke tekst grondig en na redactie is het verschil nauwelijks zichtbaar. Ze houdt het kleinere model voor regulier werk en schakelt het grote in bij opdrachten waar de eerste versie zo dicht mogelijk bij het eindproduct moet zitten. Modelkwaliteit is geen absoluut begrip. Het hangt af van wat je ermee doet en hoe je het inzet.
Veelgestelde vragen
Is een model met meer parameters altijd beter?
Niet per se. Meer parameters betekenen meer capaciteit: het model kan in principe complexere patronen vastleggen en meer kennis opslaan. Maar die capaciteit is alleen waardevol als de trainingsdata goed genoeg zijn om haar te vullen, en als de posttraining het model leert die kennis effectief in te zetten. Een model met zeventig miljard parameters dat is getraind op uitstekende data en zorgvuldig geposttraind, kan op veel taken beter presteren dan een model met driehonderd miljard parameters dat slechter is getraind. Vergelijk het met twee restaurants. Het restaurant met de grotere keuken heeft meer mogelijkheden, maar het eten is pas beter als ook de ingrediënten, de recepten en de kok beter zijn. Parametertallen vertellen je iets over het potentieel. De werkelijke kwaliteit hangt af van het totaal.
Hoe kies ik het juiste model voor mijn organisatie?
Begin bij de taak, niet bij het model. Bepaal wat je het model wilt laten doen: samenvatten, analyseren, genereren, classificeren. Test vervolgens twee of drie modellen op precies die taak, met jouw data. Benchmarkscores zijn nuttig als eerste filter om de shortlist samen te stellen, maar ze vervangen geen test op je eigen situatie. Kijk niet alleen naar kwaliteit maar ook naar kosten per verwerkte eenheid en naar snelheid. Voor veel standaardtaken is een kleiner, goedkoper model voldoende. Het grote model is de investering waard bij taken waar genuanceerd redeneren of brede kennis het verschil maakt. De meeste organisaties die AI succesvol inzetten, gebruiken niet één model maar meerdere: elk model voor de taken waar het het best op past.
Wat is distillatie en waarom hoor ik dat steeds vaker?
Distillatie is een trainingstechniek waarbij een groot, krachtig AI-model zijn kennis overdraagt aan een kleiner model. Het kleine model leert niet van de originele trainingsdata, maar van de output van het grote model. Dat levert een model op dat een groot deel van de kwaliteit behoudt, maar sneller en goedkoper is. De kleinere modelvarianten die aanbieders naast hun topmodel aanbieden zijn vaak het product van distillatie. Het principe is vergelijkbaar met een ervaren vakman die een leerling opleidt: de leerling leert niet alle theorie opnieuw, maar neemt de kennis en oordeelsvorming van de vakman over in een compacte vorm. Distillatie is ook in het nieuws gekomen als geopolitiek thema: modelbouwers hebben vastgesteld dat buitenlandse partijen hun modellen op grote schaal bevragen om via de antwoorden concurrerende modellen te trainen. Dezelfde techniek, maar dan zonder toestemming.
Kan ik op benchmarkscores vertrouwen bij het kiezen van een model?
Benchmarks zijn nuttig als startpunt. Ze geven een indicatie van hoe modellen presteren op gestandaardiseerde taken en helpen je de grove contouren van de markt te zien. Maar er zijn vier redenen om ze niet blind te volgen. Ten eerste raken sommige tests uitgespeeld: alle topmodellen scoren zo hoog dat het verschil niet meer betekenisvol is. Ten tweede kiezen modelbouwers in hun marketing de tests waar zij het best op scoren, wat het beeld vertekent. Ten derde zijn er aanwijzingen dat sommige modellen beter scoren doordat ze tijdens training zijn blootgesteld aan de testvragen. En ten vierde, het meest fundamenteel: een benchmark test een specifieke set taken onder specifieke omstandigheden. Jouw situatie is anders. De enige betrouwbare manier om te weten hoe een model presteert op jouw werk, is het te testen op jouw werk.
Wat is model collapse en moet ik me daar zorgen over maken?
Model collapse is het verschijnsel waarbij een AI-model dat steeds meer traint op tekst die door eerdere modellen is gegenereerd, geleidelijk aan kwaliteit verliest. Het model versterkt zijn eigen patronen, verliest variatie en produceert steeds eenvormiger output. Vergelijk het met het steeds opnieuw kopiëren van een kopie: elke generatie verliest detail. Het risico is reëel nu een groeiend deel van de tekst op het internet door AI is gegenereerd. Maar het is geen onvermijdelijk lot. Modelbouwers die hun trainingsdata zorgvuldig samenstellen, synthetische data doseren en de kwaliteit monitoren, kunnen het risico beheersen. Als gebruiker hoef je dit niet zelf op te lossen. Maar het is nuttig om te weten dat het bestaat, want het beïnvloedt de kwaliteit van toekomstige modellen. En het onderstreept een breder punt: de kwaliteit van de trainingsdata is de meest bepalende factor voor de kwaliteit van het model. Die les blijft gelden.
Verder lezen
Wie wil begrijpen hoe benchmarks precies werken, welke soorten er zijn en hoe je een benchmarkclaim in een persrelease of vendorpitch leert duiden, leest verder bij Benchmarks: hoe lees je een benchmarkclaim? (cluster 2.5a).
Wie wil terugkeren naar de basis en begrijpen hoe de trainingsdata en het trainingsproces het fundament van een model leggen, vindt dat bij Pretraining: het fundament bouwen (cluster 2.2).
Wie wil weten hoe posttraining het gedrag van een model vormt en waarom modellen van verschillende aanbieders zo anders reageren op dezelfde vraag, leest Posttraining: van basismodel naar assistent (cluster 2.3).
Nu je weet hoe een AI-model wordt opgebouwd en hoe je de kwaliteit beoordeelt, is de volgende stap: hoe werk je ermee? Dat is het onderwerp van pillar 3, te beginnen bij Wat is prompting? (cluster 3.1).