In gesprek met de NFF Fellows: Simone C Niquille

Bij het NFF Fellowships Programma werken ieder jaar een drietal kunstenaars aan hun eigen innovatieve onderzoek op het kruisvlak van technologie en maatschappij. In dit bijzondere programma staat alles ter discussie: de vragen die gesteld worden, de methodes die gehanteerd worden, zelfs de uitkomsten liggen niet vast. Om mee te kunnen kijken in de keuken van hun werkvormen, dilemma’s, en beweegredenen, gaat Paulien Dresscher, curator van het programma en onderzoeker op het gebied van digitale cultuur, het gesprek aan met de Fellows.

De tweede Fellow dit jaar is Simone C Niquille.

Fellows 2024-2025
Deel 2: Simone C Niquille

Chair Don’t Care

Simone C Niquille is onderzoeker en ontwerper en is met het onderzoek Chair Don’t Care ingestapt in het Fellowships programma. Met Chair Don’t Care onderzoekt Niquille de grenzen van verhalen vertellen met en over machine learning. Terwijl het personage Chair door een ogenschijnlijk eenvoudige omgeving dwaalt, blijkt het navigeren geen gemakkelijke taak. In feite is Chair Don’t Care een onderzoek naar computer vision, en hoe de blik van de computer onze wereld ziet en beïnvloedt.

De filosofische benadering van de niet-menselijke blik is niet nieuw, en heeft zijn oorsprong in de wereld van film: in de beginjaren van filmtheorie, werd film gezien als de kunstvorm die de werkelijkheid toont of construeert, met het ‘oog’ van de camera als het registrerend element. Met de beroemde film Man with a Movie Camera (Vertov 1929, Sovjet-Unie) wordt de camera als een Kino-Oog verkend; de machine-blik. Het achterliggende idee was dat de camera meer, maar ook anders, ziet dan het menselijk oog - en daarmee ook een andere versie van de werkelijkheid kon tonen. Computer vision gaat nog een stap verder dan het Kino-oog: het is een algoritmisch oog dat beelden niet alleen kan registreren, maar ook kan lezen, classificeren en er vervolgens op kan reageren: het geeft dus niet alleen weer, maar kan ook impact maken.

Computer vision is het vakgebied binnen kunstmatige intelligentie (AI) waarbij de grens tussen de wereld en hoe deze wordt waargenomen vervaagt: het stelt computers in staat om digitale beelden en video’s automatisch te 'zien', te analyseren en te interpreteren, zodat ze objecten, personen, scènes of patronen kunnen herkennen en hierop kunnen handelen. Computer vision legt de wereld niet alleen vast, maar beïnvloedt ook hoe we haar begrijpen en erin bewegen. En, het is tegenwoordig alomtegenwoordig: in de zorg om tumoren op te sporen, bij stofzuigers die zelf hun weg door je huis vinden, maar ook bij VFX voor lip synching en deep fake technieken. En natuurlijk bij animatie, en dat is het werkterrein van Niquille.

Is it a bug or a feature?

Een computercamera weet zelf niet waar hij naar kijkt, het zijn de ogen van een robot. Wij moeten hem dit aanleren, aldus Niquille: “Het is zoals bij een automatische stofzuiger: Voor hij kan functioneren moet hij objecten leren herkennen, en daarover beslissingen maken: waar moet ik omheen, wat moet ik doen”. Dit leren is een cruciaal onderdeel waar ethiek en verantwoordelijkheid bij komt kijken. Waar ook bij filmmaken het draait het om representatie van mensen, lichamen en identiteiten, kan bij computer vision ook een bias bijkomen – een soms weinig opvallende afwijking waarbij bepaalde mensen of groepen bevoordeeld of benadeeld worden. De vraag is dan, wie is verantwoordelijk als de “machine-blik” discrimineert of vervormt?

Voor Niquille gaat computer vision ook over de queer-ervaring: “hoe ga je als een lichaam door de wereld die door middel van stereotypen en standards naar je kijkt? Als ik mijn haar nog korter knip, word ik als een meneer aangesproken, als ik langer haar heb als mevrouw. Stereotypen bepalen hoe je wordt gezien door de maatschappij.” Dit idee van stereotypen speelt ook bij computer vision, waarbij al gauw de vraag ontstaat: Is it a bug (een onbedoelde fout) or a feature (expres zo ontworpen)? Het kan een bug zijn als er een slechte dataset achter zit, of het is juist een feature, waarbij het systeem bewust groepen uitsluit. Als er iets misgaat met machine learning is het een belangrijke vraag of iets een technisch probleem is, of maatschappelijk van oorsprong.

Vragen stellen

Met het onderzoek naar Chair Don’t Care bouwt Niquille voort op haar vorige werk, The Beauty and the Beep, een animatieproject waarin ze een stoel leerde lopen. Door zijn gestuntel en gestruikel, riep de protagonist, de stoel, steeds meer empathie op en liet haar verder nadenken over het lot van een stoel: “Het is zo’n simpel object dat altijd onderdeel van ons leven is, dat er niet veel over nagedacht wordt en vaak voor lief genomen wordt- wat je ook terugziet in de uitdrukking ‘onderdeel van het meubilair zijn’.” De stoel van Chair Don’t Care zit in zijn teenage jaren, is gefrustreerd omdat niemand hem wil zien voor wat hij wil zijn. Als gevolg is hij agressief-puberaal om zich heen aan het trappen.

Voor Niquille is het duidelijk dat er veel meer mogelijk is met machine learning en animatie dan op het eerste gezicht lijkt. “In traditionele 3D-animatie maak je eerst een virtueel skelet – ook wel een rig of armature genoemd – een term die overigens ook weer verwijst naar de stoel. Hiermee kun je de bewegingen van een karakter kan animeren. Dit proces is tijdrovend en complex, maar je kan het karakter wel veel persoonlijkheid meegeven: hoe iemand loopt of beweegt kan bijvoorbeeld laten zien wat voor persoon die is.”

Het maken van zulke animaties is een echt ambacht en er zijn kunstenaars die daar hun hele carrière aan wijden. Maar, zoals in veel creatieve velden worden AI en machine learning gebruikt om dit soort processen te vereenvoudigen: Binnen animatie gebruiken online platformen algoritmes om te berekenen hoe iemand beweegt. Dat is bijvoorbeeld handig voor games, om werelden snel te kunnen vullen met NPC’s (non-playable characters). Zo kan je in Unity een karakter een target geven: het algoritme laat het dan naar dat punt toe bewegen. Idealiter leert het systeem dit steeds beter te doen. Voor haar onderzoek heeft Niquille deze techniek verder ontwikkelt als zelfstandig storytelling device. Machine learning zelf is het onderwerp en het script, inclusief de momenten waarop het absurd wordt of misgaat: “Zo wordt niet alleen het eindresultaat beïnvloed door machine learning, maar ook het proces zelf gebruikt als narratief element.”

Een van de uitdagingen van deze manier van werken, is het aanpassen van het karakter aan de virtuele wereld. Zo vertelt Niquille dat in onze echte wereld allerlei ergonomische aannames zijn: “Je weet hoe hoog een traptrede is, of hoe een deurkruk werkt. Dit kan als een vorm van ‘ableisme’ worden gezien – de meeste systemen en ruimtes zijn ontworpen voor ‘gemiddelde’ lichamen. In de virtuele wereld kun je hiermee spelen: hoge treden, korte of lange benen, grote of kleine stappen.” Op deze manier kon Niquille absurde worstelingen creëren voor het karakter die zichtbaar maakt hoe het lichaam zich tot de wereld verhoudt. Voor de meeste mensen werkt de echte wereld prima, maar in de virtuele wereld kun je juist experimenteren en zo op een speelse manier laten zien wat er gebeurt als deze aannames niet kloppen.

Ruimte voor serendipiteit

Voor Niquille was het Fellowship een belangrijk moment, omdat het haar na haar vorige werk The Beauty and the Beep de luxe gaf om even terug te kijken en vooruit te blikken. Het gaf ruimte om te onderzoeken hoe verder te gaan. De stoel ging mee, als moment van reflectie en de start van iets nieuws, waarbij tijd een belangrijke factor was: Vaak krijg je steun voor een specifiek project, maar om vertrouwen te krijgen dat je tijd mag inzetten om iets te onderzoeken zonder directe meetbare resultaten is essentieel. Zonder die ruimte kan er niets gebeuren. Voor mij markeerde dit moment echt een mid-career reflectie: het gaf me de mogelijkheid om te calibreren, te bedenken hoe ik mensen wil bereiken en met wie ik wil samenwerken.”

Een deel van Niquille’s onderzoek ging over het project Chair Don’t Care zelf, maar ook over hoe ze daarna verder moest gaan. Het bood de ruimte vragen te stellen en na te denken over de richting die genomen moest worden, zonder dat er meteen een antwoord of resultaat van gevraagd werd. Er kwam ruimte voor serendipiteit, wat essentieel is voor het proces.

Wat is dan het eindproduct?

“Het voelt vreemd om zo lang geen afgerond eindproduct te hebben. De vraag ‘wat heb je dit hele jaar gedaan?’” dringt zich dan op. Maar voor mij was het juist een periode waarin ik veel geleerd en ontwikkeld heb. De uitkomsten van dit proces zijn interessant. Bij het maken van films worden vaak veel beslissingen genomen tijdens het productieproces, omdat er geen tijd is om alles volledig voor te bereiden: karakterprofielen maken, werelden bouwen, soundtracks voorbereiden. Dit project gaf me de kans om dat voorbereidende werk te doen en een solide basis te leggen voordat ik daadwerkelijk begin met animatie.”

Voor Chair Don’t Care heeft Niquille in het programma Unity werelden opgezet waarin het karakter kan navigeren en experimenteren - inclusief een kleine interface om eerdere versies van het “brein” te triggeren - waardoor tijdens het animeren heen en weer geschakeld kan worden tussen verschillende versies: In plaats van dat een personage lineair steeds beter te worden, kan het nu als dramatisch- narratief element ingezet worden. Ook is door nauw samen te werken met een muzikant een gezamenlijke taal ontwikkeld, en zijn er schetsen gemaakt en onderzoek gedaan naar hoe muziek het verhaal kan ondersteunen.

De Bremer Stadsmuzikanten

Als laatste heeft Niquille zich beziggehouden met de karakterontwikkeling: de stoel kreeg vrienden, waardoor er een klein ensemble ontstond, vergelijkbaar met de Bremer stadsmuzikanten.

Het onderste karakter is een neushoorn, daarboven de stoel, en daarnaast een eekhoorn. De keuze voor deze dieren heeft te maken met de geschiedenis van machine learning en de oorsprong van de archetypen. De neushoorn is gebaseerd op de eerste wetenschappelijke van Albrecht Dürer uit 1515. Dürer had nog nooit een neushoorn gezien, maar maakte deze schets op basis van beschrijvingen. Zo ontstond een beeld van de “archetypische neushoorn”. Niquille: “voor mij is deze vroege versie van de neushoorn een voorbeeld van wat nu wellicht AI-slop is: het beeld opgebouwd door beeldtaal. Het ziet er geloofwaardig uit maar heeft weinig met de realiteit van een neushoorn te maken.”

Het tweede dier is de Janus-eekhoorn: een 3D-mesh (een digitaal skelet of raamwerk waaruit een 3D-model bestaat) dat werd gegenereerd met een van de vroege text-to-3D-modellen zoals DreamFusion. De eekhoorn heeft meerdere hoofden, een gevolg van hoe het model met perspectief omgaat. Het idee dat een dier of mens precies één hoofd heeft, is namelijk geen concept dat een AI-model begrijpt.

En dan ten slotte, bovenop, de stoel: Het is de Bertil-stoel van Ikea die in de catalogus van 2006 verscheen als synthetisch beeld: een computer gegenereerde afbeelding in plaats van een foto van een echte stoel. Niemand die het opviel, het viel niet uit de toon en werd niet als iets bijzonders ervaren, in tegenstelling tot de spectaculaire AI-beelden die we tegenwoordig massaal voorbij zien komen en die soms zelfs als “AI-slop” worden weggezet.

Dit succes – hiding in plain sight – zorgde ervoor dat IKEA steeds vaker synthetische productafbeeldingen gebruikte. Bedrijven als IKEA produceren hiermee onbewust enorme hoeveelheden potentiële trainingsdata door traditionele productfotografie te vervangen door CGI-beelden: de computerprogramma’s worden niet langer getraind met beelden uit de echte wereld, maar met output van weer andere programma’s.

De drie archetypische figuren, de neushoorn, Bertil en de Janus-eekhoorn, vormen samen een “Image Stack” – een manier om te onderzoeken hoe beelden worden gegenereerd en bekeken, en hoe de computer ons helpt, maar soms ook bepaalt, hoe we naar dingen kijken. Met haar werk stelt Niquille ook de vraag hoe je de mens betrekt bij zo’n verhaal: hoe maak je iets technisch, iets nerdy en experimenteel toch toegankelijk en entertaining?

Toegankelijkheid

Het doel van Niquille is om de technologie op een aantrekkelijke manier te presenteren, zonder dat het zijn complexiteit verliest. Wat haar werk bijzonder maakt, is de verwarrende combinatie van diep-filosofische vragen over machine learning en AI, gebracht in de vorm van kinderlijke animatiepersonages. Door zo complexe concepten te vertalen naar korte films en interactieve verhalen, nodigt ze zowel kinderen als volwassenen uit om kritisch en verwonderd te kijken naar de manieren waarop technologie onze wereld vormgeeft.

Onze puberale Chair wil niet langer voor lief genomen worden en gaat de strijd aan met zijn omgeving - als een echo van het streven van Niquille zelf, die ons aanspoort de blik van computer vision niet voor lief te nemen: "Sta stil bij wat de dingen zijn en stel vragen bij dat wat zo vanzelfsprekend lijkt."

Geschreven door Paulien Dresscher