Fine-tuning is het proces waarbij een bestaand, vooraf getraind taalmodel wordt verder getraind op een specifieke, kleinere dataset. Hierdoor leert het model nieuwe patronen, een specifieke schrijfstijl of domeinkennis die niet in de oorspronkelijke trainingsdata aanwezig waren.
Technische werking
- Selectie van het basismodel: Je kiest een pre-trained model dat al algemene taalregels beheerst.
- Samenstellen van de dataset: Je maakt een verzameling voorbeelden bestaande uit input-output paren die representatief zijn voor de gewenste taak.
- Training proces: Het model verwerkt deze data, waarbij de interne parameters (model weights) in kleine stappen worden aangepast om de foutmarge tussen de voorspelling en het gewenste antwoord te verkleinen.
- Validatie: Je test het model op data die niet in de trainingset zaten om te controleren of het model generaliseert of simpelweg teksten uit het hoofd heeft geleerd.
Belangrijke begrippen
- Supervised Fine-tuning: Het trainen van een model met expliciete labels, waarbij je precies aangeeft wat het juiste antwoord is op een specifieke vraag.
- Parameter-efficient fine-tuning (PEFT): Een methode waarbij slechts een klein deel van de parameters wordt aangepast, wat minder rekenkracht en geheugen vereist.
- Catastrophic forgetting: Een risico waarbij het model door de nieuwe training oude, algemene kennis deels verliest.
- Transfer learning: De overkoepelende techniek waarbij kennis uit één taak wordt toegepast op een andere, nauwer gedefinieerde taak.
