Sora is een AI videogenerator van OpenAI die vanuit tekstinstructies realistische video’s maakt. Het zet geschreven beschrijvingen om in korte video’s, waarbij het probeert de wetten van de fysica in de echte wereld na te bootsen.
Technische werking
- Je voert een tekstprompt in waarin je beschrijft wat er moet gebeuren, wie erin voorkomt en hoe de omgeving eruitziet.
- Het systeem gebruikt een diffusion transformer om ruis om te zetten in beelden, vergelijkbaar met hoe moderne AI-afbeeldingen ontstaan.
- De tool analyseert de gewenste beweging en bouwt dit op in kleine blokjes tijd, zodat de actie vloeiend verloopt.
- Er wordt gecontroleerd of objecten hun vorm behouden wanneer ze bewegen of uit beeld verdwijnen en weer terugkomen.
- De uiteindelijke video wordt gegenereerd in diverse resoluties en beeldverhoudingen, afhankelijk van je instellingen.
Belangrijke begrippen
- Diffusion transformer: De motor die ervoor zorgt dat de AI zowel tekst begrijpt als complexe videobeelden kan genereren.
- Real-world physics: De poging van de software om zwaartekracht, botsingen en vloeistoffen logisch weer te geven.
- Persistent characters: Het vermogen om hetzelfde personage in verschillende shots of vanuit andere hoeken consistent te houden.
- Multi-shot sequences: Video’s waarbij de camera van standpunt wisselt zonder dat de scène of het onderwerp verandert.
- Motion synthesis: Het proces waarbij de AI berekent hoe een lichaam of object natuurlijk moet bewegen.


