GPT staat voor Generative Pre-trained Transformer. Het is een type generatieve AI dat patronen in enorme hoeveelheden tekst herkent om zelf nieuwe, menselijke teksten te genereren op basis van een gegeven opdracht.
Technische werking
- Training: Het model analyseert miljarden woorden uit diverse teksten om statistische verbanden tussen woorden en zinsstructuren te leren.
- Tokenisatie: Inkomende tekst wordt opgeknipt in kleine eenheden, genaamd tokens. Dit kunnen letters, lettergrepen of hele woorden zijn.
- Contextanalyse: De Transformer-architectuur berekent welke woorden in een zin het meest relevant zijn voor elkaar, ongeacht hun positie in de tekst.
- Voorspelling: Op basis van de input en de geleerde patronen voorspelt het model token voor token welk woord statistisch gezien het meest logisch volgt.
- Generatie: Deze voorspellingen worden achter elkaar geplaatst tot een volledige zin of tekst die voldoet aan de gestelde opdracht.
Belangrijke begrippen
- LLM: Een Large Language Model is het overkoepelende type model waar GPT onder valt; een systeem met miljarden parameters voor taalverwerking.
- Prompt: De specifieke instructie of vraag die je aan het model geeft om een bepaald resultaat te genereren.
- Hallucinatie: Een situatie waarin het model met grote stelligheid feitelijk onjuiste informatie produceert omdat de statistische waarschijnlijkheid hoger was dan de feitelijke waarheid.
- Context window: De maximale hoeveelheid tekst (tokens) die het model in één keer kan onthouden en meenemen in zijn berekening.
- Fine-tuning: Het proces waarbij een bestaand model extra wordt getraind op een specifieke dataset om beter te presteren in een bepaald vakgebied.
