Wat is het verhaal achter de ‘Cuba, Havana’-AI-videoclip van John Vijlbrief?
Omdat ik veel plezier beleef aan het schrijven van songteksten, had ik in een verloren uurtje een tekstje geschreven over een wat oudere man die in Havana eenzaam langs de zeekant loopt en daar door een beeldschone Cubaanse wordt aangesproken. Nee, het was niet de bedoeling om naar aanleiding van de song ook een videoclip te maken, zoals ik dat normaal wel doe. Immers, een song heeft een promotievideo nodig. Maar het leek mij een goede oefening om te proberen of ik met de beschikbare generatieve AI-tools zo’n videoclip in enkele dagen, met niet al te veel credits (budget) kon samenstellen.

Wat zijn Character en Design Sheets?
Ik ben begonnen met het maken van de Character Sheets van John en Isabella. Verder heb ik een Design Sheet gemaakt van de Cubaanse Chevrolet. Een Character Sheet zorgt ervoor dat je personen (karakters) in de video hetzelfde uiterlijk behouden. 

Wat zijn keyframes en een storyboard?
Leidraad voor de video was de song. Ik had geen script aangemaakt met Claude of ChatGPT wat de laatste maanden gebruikelijk is. Met zo’n script als startpunt kun je onder andere een storyboard maken (de videoclip in een aantal keyframes weergegeven) dat met behulp van een AI-videomodel, zoals Seedance 2.0, in een videoclip wordt omgezet. Ik blijf generatieve AI nog steeds als iets magisch zien, vandaar de kreet ‘omtoveren’.

Met prompts geef ik het AI-model instructies
In 2024 heb ik geleerd goede prompts te schrijven waarin ik aan het AI-model uitleg wat ik wil visualiseren. Anno 2026 werk ik het liefst nog steeds met prompts, hoewel dat door veel creators voor een groot deel wordt overgelaten aan LLM’s als ChatGPT en vooral Claude. Kort gezegd: de AI-tools worden almaar beter en nemen steeds meer werk uit handen. Stap voor stap heb ik de prompts voor Cuba, Havana geschreven en met het AI-beeldmodel (in mijn geval Nano Banana Pro en niet GPTImage 2) de keyframes gemaakt. Keyframes zijn de belangrijkste momenten in de video.

Wat is referentiemateriaal?
Het AI-beeldmodel heeft referentiemateriaal nodig: de Character Sheets en Design Sheets. Zonder die referenties verandert een gezicht in de video steeds meer en lijkt het niet meer op het gezicht van de persoon aan het begin van de videoclip. Hoewel dat ook nu nog niet altijd 100% goed gaat, AI hallucineert en verzint er soms allerlei -onnodige- beeldelementen bij. AI is een technologie en geen voorspelbare software, zoals Photoshop. Bij AI weet je vooraf nooit goed wat er als plaatje uitkomt. AI is onvoorspelbaar. Soms stelt AI teleur, vaak overtreft het mijn verwachtingen. 

Het AI-videomodel zet de keyframes om in videoscènes
Generatieve AI vind ik fantastisch om mee te werken. Waarom zou deze 72-jarige producent met 50 praktijkjaren anders nog werken? Omdat AI mij mateloos boeit!

Lipsync werken
Nadat ik alle keyframes had aangemaakt, zette ik met behulp van een AI-videomodel de keyframes om in korte videoclips van maximaal 15 seconden. Lipsync is nog steeds erg lastig, maar dat was in deze videoclip ook niet nodig. Het verhaal wordt immers gezongen.

Zo ging het eerst bij een videoproductie
Traditioneel had ik voor een dergelijke videoclip naar Cuba moeten afreizen met mijn uitgebreide videoapparatuur en crew. Ter plekke had ik zo’n Chevrolet moeten huren en een Cubaanse dame (fotomodel) moeten vinden die Isabella zou spelen. Zelf had ik John kunnen spelen. Hoewel ik dan een cameraman had moeten meenemen. Voorts overal toestemming moeten vragen om er te mogen filmen. Wat in Cuba lastig kan zijn. In drie dagen had ik, zonder tegenslagen, de ruwe beelden voor mijn videoclip kunnen draaien. Daarna terug naar Nederland om daar de montage en audionabewerking te doen. Zo ging het tot voor kort. 

 

Met hoeveel mensen maak ik een AI-videoclip?
Nu kan ik alles min of meer in mijn eentje achter mijn iMac en MacBook Pro doen. Ik vind dat, met mijn lange producent-ervaring nog steeds bizar. Goed, alles heeft zijn voor- en nadelen. Generatieve AI heeft nog talloze beperkingen, maar de ontwikkelingen gaan razendsnel. Dus dat komt allemaal goed.

Wie investeren er zoal in AI?
Grote namen, zoals filmregisseur Martin Scorsese, investeren enorme bedragen in AI. Recent verkocht Prins Bernhard van Oranje al zijn bezittingen om elke euro die hij inde in AI te investeren. Nee, AI is zeker geen bubble! Dat was fotografie ooit ook niet, en evenmin het internet. AI is er en zal alleen maar groeien en een machtige technologie worden waarmee vrijwel alles mogelijk wordt. Zeker, het kent ook grote bezwaren. Maar ik denk positief. De kennis om er iets fouts mee te doen heb ik niet en zou ik ook niet willen.

Hoe begon John Vijlbrief ooit?
John Vijlbrief is iemand die het liefst in beelden en beeldkaders/volgorden denkt. Zo begon ik 50 jaar geleden met fotografie, later met film en video, vervolgens CD-ROM en DVD, digitale video, en sinds medio 2024 met generatieve AI.

Om met AI steeds betere beelden en videoclips te kunnen maken, maar ook muziekproducties, is voortdurende (bij)scholing en hands-on ervaring van doorslaggevend belang. Dankzij een aantal goede leermeesters heb ik generatieve AI ‘in mijn vingers’ gekregen. Nu geef ik zelf workshops generatieve AI en sta ik voorts open voor commerciële opdrachten. Mijn website vijlbriefcollectie.com toont mijn portfolio, met onder andere generatieve AI in alle soorten en maten: van live-action video tot animatie. Iedere dag zet ik een stap verder op dit boeiende AI-traject. Uw vragen en opmerkingen zijn welkom.

Copyright Juli 2026
John Vijlbrief / Vijlbrief Collectie