Mijn ontwikkeling van Midjourney naar ComfyUI

Op zoek naar meer creatieve controle

Mijn eerste stappen binnen AI-creatie begonnen met tools zoals Midjourney. Hoewel deze platformen indrukwekkende resultaten kunnen genereren, liep ik al snel tegen twee veelvoorkomende beperkingen aan: hoge terugkerende kosten en beperkte creatieve controle.

Veel AI-platformen werken met abonnementen en credits. Voor vrijwel iedere toepassing bestaat een aparte dienst met een eigen prijsmodel. Zodra je meer wilt genereren dan binnen je abonnement mogelijk is, ben je afhankelijk van extra credits of een duurder pakket. Dit maakt experimenteren en opschalen vaak kostbaar.

Daarnaast merkte ik dat veel gesloten AI-platformen bepalen hoe een eindresultaat eruitziet. Als maker wilde ik juist meer invloed hebben op het creatieve proces.

De overstap naar ComfyUI

Tijdens mijn onderzoek naar geavanceerdere AI-oplossingen ontdekte ik ComfyUI. Dit open-source platform maakt het mogelijk om AI-modellen lokaal op een eigen computer te draaien. In plaats van te werken met een vaste interface bouw je zelf een workflow op uit verschillende onderdelen die samen het eindresultaat bepalen.

Een workflow is te vergelijken met een digitale productielijn: iedere stap heeft een specifieke functie. Denk aan het laden van AI-modellen, beeldanalyse, animatie, beeldverbetering of video-upscaling. Hierdoor ontstaat een niveau van controle dat binnen veel commerciële AI-platformen simpelweg niet mogelijk is.

Binnen ComfyUI kunnen verschillende AI-modellen samenwerken, waaronder zogenaamde Large Language Models (LLM's). Dit zijn taalmodellen die tekst kunnen begrijpen, analyseren en genereren. Daarnaast zijn er gespecialiseerde beeldmodellen, LoRA's (kleine uitbreidingen die specifieke stijlen of eigenschappen toevoegen) en upscalers die de kwaliteit en resolutie van beelden verbeteren.

Van statisch artwork naar gecontroleerde animatie

Het project dat hier wordt getoond laat zien hoe ik mijn eigen digitaal getekende artwork, gemaakt in Photoshop, met behulp van ComfyUI omzet naar een gecontroleerde animatie.

Waar veel AI-oplossingen grote delen van een afbeelding aanpassen of opnieuw interpreteren, ligt mijn focus juist op het behouden van de originele illustratie. Door een zorgvuldig opgebouwde workflow kan ik beweging toevoegen zonder dat de AI ongewenste wijzigingen aanbrengt in het ontwerp.

Na het genereren van de animatie gebruik ik een aparte workflow voor video-upscaling, waardoor de kwaliteit verder wordt verbeterd. Deze methode maakt het mogelijk om korte videosegmenten van ongeveer vijf seconden te produceren die vervolgens naadloos aan elkaar gekoppeld kunnen worden met behulp van startframe- en endframe-technieken.

Hoewel deze werkwijze uitstekend werkt voor vector-illustraties, is dezelfde techniek ook toepasbaar op fotografie en andere visuele content.

Een voortdurend leerproces

ComfyUI vormt momenteel mijn belangrijkste ontwikkelomgeving binnen AI. Door het installeren, testen en combineren van uiteenlopende modellen en workflows krijg ik steeds beter inzicht in de mogelijkheden van deze technologie.

Naast het creatieve aspect heb ik inmiddels ook een sterke technische basis opgebouwd. Ik weet hoe verschillende modellen worden geïntegreerd, hoe workflows worden opgebouwd en geoptimaliseerd, en hoe veelvoorkomende technische problemen kunnen worden opgelost.

Deze projecten markeren het begin van mijn ontwikkeling binnen geavanceerde AI-workflows. Door continu te experimenteren ontdek ik steeds nieuwe manieren om AI in te zetten als creatief hulpmiddel, zonder daarbij de controle over het eindresultaat uit handen te geven.