Ten thousand images of plankton

Maritiem onderzoek aan de vooravond van een computer vision en robotics doorbraak

11 april 2024

Tweemaandelijks stellen wij een specialist voor. Geven we een insight in de persoon, en zijn onderzoek en verwachtingen. Deze keer mariene bioloog en computer scientist Jeroen Hoekendijk: “Ik luister naar onderzoekers en kijk welke problemen vanuit de computer vision-kant op elkaar lijken zodat we die op een efficiënte manier in parallel kunnen uitvoeren.”

Ineens die enorme rugvin van 1 meter 80 die voor hem omhoog uit het water rijst. 21 jaar is Jeroen Hoekendijk, en hij denkt alleen maar een langgerekte ‘wauw’. Hij weet dat hij aan de oostkust van Vancouver Island orka’s kan verwachten. Daarvoor is hij met zijn familie naar de Johnstone Strait in Canada gereisd. Die plas is een speelvijver voor orka’s. Vanwege het zalmrijke water en de kiezelstranden waar ze hun ruggen lekker kunnen schuren. Maar dat zo’n enorme mannetjes orka totaal onverwachts tevoorschijn komt, terwijl hij in zijn kajak in een beschutte baai zit te wachten, tot de rest van de groep te water gaat: “Het zet een stempel.” Hij belt meteen zijn broer die nog in Nederland is. Of die hem als de drommel kan inschrijven voor een studie marine biologie in Groningen. De deadline is nog net niet verstreken.

Geautomatiseerde beeldherkenning met computer vision

Tijdens de master van zijn studie belandt Hoekendijk op Texel. Bij het NIOZ, het Koninklijke Nederlands Instituut voor Onderzoek der Zee. Daar promoveert hij na vijf jaar onderzoek met ‘Through the looking-glass: marine mammal monitoring in a changing world’. “Onderzoekers fotograferen zeehonden jarenlang vanuit de lucht. Die tellen ze daarna met de hand om meer te weten te komen over populatieontwikkelingen. Ik vroeg me af of je dat niet automatisch kon doen.”

Als het gaat om Vision + Robotics-methodieken spelen mariene ecologen en biologen graag leentjebuur. Ze gebruiken programma’s die eerder voor ander wetenschappelijk onderzoek zijn ontwikkeld. Dat komt omdat ze vaak niet aan de voorkant van de technologiegolf zitten, vertelt Hoekendijk. “Maar die moeten we wel zien om te begrijpen hoe we die binnen een andere context kunnen gebruiken.” Dat interesseert hem. “Hoe kunnen we als marine biologen de meest recente computer vision en robotics-slimmigheidjes toepassen binnen onze eigen bubbel van ecologische vraagstukken.”

Algoritme telt zeehonden automatisch

Hoekendijk wijst op zijn proefschrift. Bij het fotograferen maak je gebruik van de ecologie van de zeehonden. Een groot deel ligt op vaste tijden in het jaar op zandplaten in de Waddenzee. Om precies te zijn, tijdens het paarseizoen en de verharing. Dat is het moment om ze vanuit de lucht te tellen. “Om dat binnen een getijdencyclus voor elkaar te krijgen, ja, dat lukt je alleen met een vliegtuig. Ook wil je dat buurlanden dat op hetzelfde moment doen, om dubbeltellingen te voorkomen.”

Group of seals

Zeehonden op de zandplaten in de Waddenzee

Voor zijn promotieonderzoek gebruikte Hoekendijk een algoritme wat automatisch zeehonden telt. Een vergelijking: als je op foto’s honden en katten uit elkaar wilt halen, train je het algoritme die twee dieren te herkennen. Bij een foto van een hond zeg je ‘dit is een hond’, bij een kat ‘dit is een kat’. Wanneer je dat vaak genoeg herhaalt, leert het algoritme vanzelf het verschil tussen die twee te herkennen. “Zo werkt dat ook bij een zeehondentelling, waarbij vaak flinke groepen van tien tot twintig tot zelfs 200 tot 300 zeehonden op zandplaten bij elkaar liggen.”

Deep learning-techniek regressie en heatmaps

Voor de training van het programma kan hij voor zijn onderzoek een beroep doen op oude data, de tellingen van vorige jaren. Hoekendijk: “Je vertelt het computernetwerk niet waar de zeehonden zitten, maar toont een foto met een groep zeehonden en vertelt hoeveel dat er zijn.” 26 zegt die foto, 38 zegt die foto en zo ga je alsmaar door. “Na een tijd begint een computer te begrijpen welk object het moet herkennen.” Die deep learning techniek heet regressie. Het vertelt niet waar in het plaatje de zeehonden zitten, maar levert als output het directe aantal. “Je leert de computer direct tellen en slaat de lokalisatie van de dieren over.”

As je toch wilt weten waar op de foto de zeehonden precies liggen (“Telt het algoritme wel wat ik hoop dat het telt”), kan je kijken waar het telnetwerk het meest actief is, vertelt Hoekendijk. Aan de hand van een soort heatmaps. “Op de heatmaps is bij zand alles donker op de foto. Waar een groepje zeehonden samenklontert, zie je een plek die oplicht. Hoe meer zeehonden, hoe sterker het licht. Zo zie je wel waar de zeehonden liggen en waar het netwerk op aanslaat.”

Heatmap showing groups of seals gathered together

Heatmaps tonen de locatie van zeehonden. Hoe meer zeehonden, hoe sterker het licht.

Een programmeercode toepassen op verschillende biologische problemen

In het voorjaar van 2023 hoort hij -vlak voor zijn promotie- dat ze bij Wageningen Marine Research (WMR) in Den Helder een computer scientist zoeken. Iemand die AI-toepassingen voor biologische problemen kan toepassen. Hij past als ‘bioloog die een beetje is opgeschoven naar de computer science kant’ precies binnen dat profiel. Hij kan dan ook direct in Den Helder bij WMR aan de slag, en zo op Texel blijven wonen. Op dat eiland struint hij graag over duin en strand. En ja, als er een keer wat spannends voorbij zwemt, is hij daar als de kippen bij. Zoals wanneer een handvol potvissen op Texel strandt of een walrus over de pier van Harlingen schuifelt. “Zeezoogdieren is niet mijn werk, dat is een hobby.”

Computer wetenschappers en biologen denken op twee verschillende manieren, zegt Hoekendijk. “Met een computer science bril op gaat het vaak om exact hetzelfde probleem. Je kunt een programeercode soms één op één toepassen op verschillende biologische problemen die op het eerste oog niks met elkaar van doen hebben.” Hij noemt onderzoek naar het bepalen van de leeftijd van een vis. Dat doe je op basis van groeiringen in otolieten, vertelt hij. Dat zijn de gehoorsteentjes van een vis die net zoals bomen elk jaar een groeiring krijgen. Daarvan maken onderzoekers al jarenlang foto’s. Ook hier kun je, net zoals bij zeehondentelling, oude datasets gebruiken om het algoritme te leren jaarringen te tellen. Dat doe je door de computer steeds een foto te tonen met een getal van het aantal ringen, net zo lang totdat hij die op de nieuwe foto’s zelf kan tellen. “Dat is de truc die we proberen steeds meer toe te passen. Modulair denken en onderdelen van methodieken meenemen van het ene naar het andere onderzoek.”

Efficiëncyslag

Luisteren naar onderzoekers en kijken welke problemen vanuit de computer vision-kant op elkaar lijken om die op een efficiënte manier in parallel uit te voeren. Dat is wat hij doet, vertelt Hoekendijk. Het kost veel tijd en geld om data handmatig te verwerken. Geautomatiseerd gaat dat in principe veel sneller en -niet onbelangrijk- goedkoper. “Je kan meer doen voor hetzelfde geld. Het geld dat je bespaart, kun je inzetten in het vergaren van meer data.” Stel je voor, je moeten tien uur vliegen om genoeg data vanuit de lucht te verzamelen. Vervolgens kost het 100 uur om die data uit te werken. Wanneer je die tijd kan halveren, heb je in één keer 50 uur over om extra te vliegen en meer data te verkrijgen, waarmee je je vragen nauwkeuriger kunt beantwoorden. “Het is een soort efficiëntieslag”.

Hij noemt zijn functie geen pionieren. Eerder het tegenovergestelde. Bij pionieren ben je aan het ontginnen en experimenteren. Hoekendijk: “Ik ontwikkel zelf niet al te veel ingewikkelde nieuwe dingen, maar zoek naar slimme bestaande computer vision-oplossingen die we voor onze eigen onderzoeksvragen kunnen gebruiken.” Bijkomend voordeel is dat hij daarvoor de supercomputer Anunna van de WUR mag gebruiken. “Daarmee kun je heel snel en efficiënt algoritmes trainen.”

Objectdetectie

Maritiem onderzoek staat aan de vooravond van een doorbraak van computer vision en robotics, meent Hoekendijk. Tot op heden heeft hij zich bij zijn nieuwe baan vooral beziggehouden met classificatieprojecten. Het liefst wil hij zo snel mogelijk door naar ‘object detectie’, waarbij je wel nadrukkelijk op een beeld aangeeft wat en waar je iets ziet. Hij wijst op het planktonproject ‘Monitoring zoöplankton fase 1’. “We hebben hierbij innovatieve methoden gebruikt om plankton te monitoren. Eerst beelden verzameld van individuele organismes en die vervolgens laten classificeren door een algoritme. Een volgende stap is om foto’s met daarop meerdere individuen en verschillende soorten op één beeld te verwerken”. Hij assisteert ook bij het analyseren van onderwateropnames van vissen en andere organismes, gemaakt met een onderwaterdrone in het project ‘Kobine ’. Want zeker, er valt zo veel te winnen bij de integratie van AI-onderdelen van WMR-onderzoek binnen het grotere WUR Vision + Robotics team. Met aan een kant de Vision + Robotics-specialisten en aan de andere de WMR-ecologen en (visserij)biologen. “Die samenwerking bestaat nog maar kort en je ziet daaruit direct al mooie dingen voortkomen.”

Bruggetje tussen computer scientists en ecologen

Hoekendijk wijst op het project Fully Documented Fisheries (FDF), geautomatiseerde vangstregistratie. Daarbij wordt gevangen vis aan boord van een visserschip op een lopende band automatisch gedetecteerd en geclassificeerd. Met behulp van verschillende sensoren om zo het aantal en de grootteverdeling per soort vast te leggen. Hij hoopt op meer van dit soort een-tweetjes tussen WMR en WUR. Zodat niet langer iedereen op zijn eigen eilandje het wiel opnieuw hoeft uit te vinden. Dat onderzoekers één oplossing, een methodiek vinden die ze op verschillende projecten kunnen loslaten. “Ik fungeer een beetje als het bruggetje tussen de computer scientists, en de ecologen en biologen. En wil dat het op die brug steeds drukker wordt. Vanwege de ecologische kennis stond WMR al goed op de kaart. Door die samenwerking met WUR Vision + Robotics kunnen we nu een nog breder palet van projecten aan.”

Nederland kent twee grote instituten als het gaat over marine onderzoek, het NIOZ en WMR. Hoekendijk: “NIOZ zit aan de fundamentele onderzoekkant, WMR meer aan de toegepaste kant.” Het NIOZ heeft dependances op Texel en Yerseke. WMR zit in Yerseke, IJmuiden en Den Helder. Verspreid over die drie locaties werken bij WMR een paar honderd man. Hij veert elke dag heen en weer naar Den Helder met een tiental WMR-collega’s die ook op Texel wonen. “Dan is het vaak meeuwen voeren en kijken of we de ringen om hun poten kunnen fotograferen. Om te zien waar ze vandaan komen, nee, onderzoekers stoppen nooit.”

Header foto Lodewijk van Walraven. Een collage van 10.000 beelden van plankton verzameld op 9 juni 2023 om 08:00 uur aan boord van Tridens in de Noordzee ten noordwesten van Vlieland tijdens een MONS Noordzee monitoring cruise met de Plankton Imager. Enorme bloei van zeevonk (Noctiluca scintillans) werd waargenomen tijdens de cruise, vanaf het schip en in de planktongegevens. Tussen de zeevonk zijn echter ook veel andere planktonachtigen te zien. In totaal zijn 86 miljoen planktonbeelden verzameld, die met behulp van machine learning zijn geclassificeerd om de samenstelling en variatie van plankton langs de hele Nederlandse kust te volgen.

Jeroen Hoekendijk Vision Robotics

JPA (Jeroen) Hoekendijk PhD

Computer scientist en Mariene bioloog

Categories: MaritiemTags: , ,

Contact Jeroen Hoekendijk, MSc