Tan Vito, muziekvideoclip promo's
John Vijlbrief over ‘hoe breng je met AI een zanger of zangeres tot leven?’
Een van de lastigste bewerkingen binnen generatieve AI is het synchroniseren (lees: lipsyncen) van zang door een artiest. Voor John Vijlbrief een interessante uitdaging. Eerlijk gezegd móest hij ermee aan de slag: als hij zijn songs op muziekstreamings-diensten wil plaatsen, heeft hij promotiebeelden nodig. Om een lang verhaal kort te maken: John schreef de songteksten en zette die met behulp van SUNO AI op muziek. Hij koos het muziekgenre en het ritme; doorgaans betekent dat net zo lang experimenteren en luisteren totdat de gewenste muzieksfeer ontstaat.
Waarom is lipsync met AI zo moeilijk? Dus de zang synchroon met de mondbewegingen
Om de lyrics synchroon te krijgen met de mondbewegingen van de zanger(es), moeten muziek en zang gescheiden worden, zodat lipsync mogelijk wordt. Hoewel dat niet altijd goed gaat, omdat AI hallucineert. Tot voor kort kon dat alleen met audiofragmenten van ieder circa 30 seconden, waardoor het veel gedoe was om een heel nummer op te bouwen en te synchroniseren.
Synchroniseren van het gitaarspel met AI
AI begrijpt op dit moment nog weinig van het synchroniseren van de muziek met de beelden, in dit geval het gitaarspel. Ook dat is vooral een kwestie van tijd.
Eerst de complete song maken
John schreef eerst zijn songtekst en zette deze op muziek. Daarna bedacht hij het personage dat de song uitvoert: in dit geval de zanger Tan Vito.
Waarom werkt John met een muziekdistributeur?
De Vijlbrief Collectie heeft inmiddels een muziekdistributeur gevonden, zodat de nummers op Spotify en vergelijkbare diensten geplaatst kunnen worden. Zonder muziekdistributeur kan dat niet.
Administratie van songs online
Aan het online zetten van de songs gaat een uitvoerige administratie en controle vooraf. Zo is het bedenken van een artiestennaam niet bepaald eenvoudig (de meeste namen bestaan immers al) en bij publicatie moet vermeld worden dat het met AI is samengesteld. Logisch toch? Inmiddels is er een enorm aanbod aan met AI gegenereerde songs.
Misschien hit-gevoelig?
Bij vrijwel alle videoproducties van John Vijlbrief is zijn muziek te horen, met de door hem geschreven songteksten. Het is de bedoeling veel van zijn songs online op streamingsdiensten te plaatsen. Misschien levert dat één of meerdere tophits op?!
Voor alle duidelijkheid:
de complete songs zijn binnenkort te downloaden via uw favoriete streamingsdienst!
Op John Vijlbrief’s LinkedIn-account staan veel artikelen over generatieve AI
Op John Vijlbrief’s LinkedIn account staan inmiddels veel artikelen die over generatieve AI gaan. Overigens geeft hij er de voorkeur aan om muziekvideoclips traditioneel te produceren, in plaats van met AI. Maar dat is behoorlijk kostbaar. Mocht een song aanslaan, dan bestaat die mogelijk alsnog. Je hebt dan de zekerheid dat een project slaagt. Met AI test je veel van het materiaal, én het is zó enorm leuk!