Er hadden echter ook andere waarden als proxy kunnen worden gekozen. Misschien stevigheid, geur of suikergehalte. Wat er precies als maatstaf voor een eigenschap wordt gekozen, heeft vaak verstrekkende gevolgen. Denk aan het huren van een appartement uit de markt. Een verhuurder ziet graag een vast arbeidscontract van de huurder, iets wat als proxy fungeert: een zekerheid dat zijn huur binnenkomt. Dit leidt tot groot ongenoegen van zelfstandigen die willen huren: ongeacht hun inkomen komen ze niet in aanmerking voor een huis. De keuze voor deze proxy stelt ze in het nadeel.

In mijn onderzoek volg ik het pad van gegevens van ‘lichamen’ (de tomaat in dit geval), tot aan de aanbevelingen die algoritmen doen om diezelfde lichamen gezond te houden. Ik maak de koppeling tussen tomaten, mensen, en berekeningen zichtbaar, en haal ze uit hun ‘black box’ om deze processen te bestuderen. Dit kan ik doen door te werken met ‘operationele beelden’. Dit zijn beelden die eigenlijk niet bedoeld zijn om buiten de context van de machine als geheel te worden bekeken. De beelden hebben juist een functionele functie en zijn puur beschrijvend. Door gebruik te maken van deze reeksen operationele beelden in de AI-pijplijn, wil ik proxy’s onthullen en laten zien op basis waarvan besluiten genomen worden.

Tot nu toe heb ik de grootste vooruitgang geboekt in het onderzoek naar operationele beelden met de hulp van Andreas Hofland van het bedrijf HortiKey. Hij deelde een grote dataset met trainingsbeelden met mij, vastgelegd door hun onlangs gelanceerde Plantalyzer-robot.

De robot rijdt elke avond langs de rijen in de kas en maakt foto's van tomaten. De beelden worden vervolgens geanalyseerd om de hoeveelheid en rijpheid van de producten te beoordelen, waardoor de teler een actuele schatting van zijn gewas krijgt. Als de robot eenmaal is ingezet, ziet uiteraard niemand de beelden zelf meer; het resultaat wordt aangeboden als een nauwkeurige prognose van het product. De prognose helpt de teler op zijn beurt om de arbeids- en logistieke behoeften beter te plannen, over de prijs te onderhandelen en betrouwbaarheid aan zijn klanten te bieden.

In de context van mijn artistiek onderzoek verzamel en componeer ik daarentegen de beelden uit deze computer als bewegende beelden, zodat ze opnieuw kunnen worden geobserveerd. Ik laat ze zien om hun beeldende kwaliteiten, maar ook als aanwijzing voor de manier waarop de algoritmische infrastructuur werkt. Om door de enorme hoeveelheden gegevens te navigeren heb ik de hulp ingeroepen van Tim Oblak, een programmeur en machine vision-expert met wie ik eerder heb samengewerkt. Hij kan die beelden in korte films verwerken om ze daarna te analyseren op inhoud, vorm en esthetiek.

Kenmerkend is je uitgebreide samenwerking met wetenschappers. Wat komt daarbij kijken?
Om de verschillende sectoren te kunnen verbinden, heb je connaisseurs nodig, mensen die verschillende werelden kunnen overbruggen. Zo werk ik nu samen met ‘EatThis’, een organisatie die zich inzet voor de integratie van de tuinbouw in de samenleving.

De uitdaging van dit soort interdisciplinair artistiek onderzoek zit deels in het gegeven dat het zich buiten de gevestigde institutionele kaders afspeelt. Tegelijkertijd komen de medewerkers en financiering wel uit specifieke domeinen, zoals bijvoorbeeld de kunsten en de wetenschap. Allemaal hebben ze een specifiek ‘gezond verstand’ als het gaat om hoe onderzoek moet worden uitgevoerd, ingezet, gedeeld, gecrediteerd, betaald en gewaardeerd. Belangrijk bij dit soort samenwerkingen is dat alle partijen hun vooroordelen zo veel mogelijk loslaten. Goed luisteren en vragen blijven stellen is nodig, omdat iedereen een ander vocabulaire hanteert. Dit speelt trouwens niet alleen in de wereld van kunst en wetenschap, maar ook in geesteswetenschappen en natuurwetenschappen, en tussen technologiebedrijven en theoretici uit vakgebieden zoals filosofie.

Tegelijkertijd zien we in dit soort interdisciplinaire spanningen een breder maatschappelijk raadsel weerspiegelen: Er is een gezamenlijk besef dat het nodig is om dingen anders te doen, om kennis met elkaar te delen en ervaringen toe te passen op zaken waar iedereen belang bij heeft. Maar, in de praktijk zijn de systemen waarbinnen we zouden moeten innoveren traag, omdat ze zijn ingericht om de status quo te behouden. Zonder vooraf gedefinieerde, gemeenschappelijke protocollen die de samenwerking tussen verschillende domeinen kunnen bevorderen, moeten we vooral vertrouwen op de persoonlijke nieuwsgierigheid en/of motivatie van partners waarbij wederzijds respect de basis is.

Hanteer je zelf ook een specifieke methode?
Ik werk met ‘automatisering van zorg’ binnen sectoren die cruciaal zijn voor de samenleving zoals de landbouw en geneeskunde. Hier zie je dat technologie kruist met complexe maatschappelijke kwesties, met als doel tegemoet te komen aan de behoeften van kwetsbare bevolkingsgroepen.

Om dit te kunnen onderzoeken heb ik een format ontwikkeld dat ik performative etnographies noem. Hierbij wordt het publiek uitgenodigd om in de rol van ‘amateur-etnograaf’ deel te nemen aan expedities. Onder begeleiding onderzoeken ze ruimtes waar zorg wordt geboden, zoals ziekenhuizen, dierentuinen of kassen. De deelnemers observeren, maken veldnotities en rapporteren uiteindelijk hun indrukken vanuit verschillende perspectieven. De resultaten van deze field trips worden toegevoegd aan een steeds groter wordend archief van getuigenissen.

Wat hoop je te bereiken met deze Fellowship?
Artificial Intelligence (AI) lijkt overal aanwezig te zijn, als een onzichtbare motor of hand die onze wereld vormgeeft en bepaalt. Maar waar wordt AI nu eigenlijk zelf zichtbaar? Ik wil de visuele aspecten van AI verkennen en ben daarvoor een soort archieven aan het maken van beelden, rechtstreeks uit de ‘black-box’ van AI uit de tomatenteelt. Omdat dit de eerste keer is dat ik met data-archieven te maken heb, zijn feedback en mentorschap terwijl ik met dit materiaal werk van onschatbare waarde, wat het NFF Fellowship biedt via hun netwerk van filmmakers en theoretici. Een ander aspect van het fellowship dat ik erg waardeer is dat het, in tegenstelling tot de meeste commissies en subsidies, niet gericht is op resultaten in de vorm van een kunstwerk, maar in plaats daarvan de nadruk legt op het onderzoeksproces. Dit geeft mij de ruimte om onverwachte aspecten en inzichten te onderzoeken. Iets waar ik anders niet de tijd en ruimte voor heb.