Llama is een familie van grote taalmodellen die door Meta zijn ontwikkeld. In tegenstelling tot gesloten systemen zoals GPT-4, stelt Meta de gewichten van het model beschikbaar, waardoor je het op eigen servers kunt draaien zonder afhankelijk te zijn van een externe API.
Technische werking
- Training op enorme datasets. Het model leest enorme hoeveelheden tekst uit openbare bronnen om patronen in taal, logica en code te herkennen.
- Tokenisatie. Tekst wordt opgeknipt in kleine stukjes, tokens, die het model omzet in getallen zodat de computer ermee kan rekenen.
- Voorspelling van het volgende token. Op basis van de context berekent het model welk woord statistisch gezien het meest logisch volgt op de vorige woorden.
- Fine-tuning. Door menselijke feedback wordt het model bijgestuurd zodat het geen onzin uitkraamt en instructies beter opvolgt.
- Inference. Wanneer je een vraag stelt, haalt het model deze berekeningen in real-time uit en zet de getallen weer om in leesbare tekst.
Belangrijke begrippen
- Open-source AI. Meta geeft de modelgewichten vrij, wat betekent dat ontwikkelaars het model kunnen aanpassen en hosten op eigen hardware.
- Context window. De maximale hoeveelheid tekst die het model in één keer kan onthouden voordat het oudere informatie uit het gesprek begint te vergeten.
- Multimodal AI models. Versies die niet alleen tekst begrijpen, maar ook afbeeldingen en video kunnen analyseren en beschrijven.
- Llama Guard. Een specifiek veiligheidsmodel dat controleert of de input of output van Llama geen schadelijke inhoud bevat.
- Foundation models. De basisversies van het model die nog niet voor een specifieke taak zijn getraind, maar breed inzetbaar zijn.
- Code Llama. Een variant die specifiek is getraind op programmeertalen om betere code te schrijven en fouten in scripts te vinden.


