3D plant reconstruction image on laptop screen

Nieuwe dataverwerkingspijplijn cruciaal voor fenotypering

3 juni 2024

Dat data niet gelijkstaan aan informatie en dat ruis de kijk van onderzoekers en plantveredelaars letterlijk kan vertroebelen, blijkt uit eens te meer uit het zogenoemde Photoneo-systeem. Photoneo staat daarbij voor de gebruikte unieke cameratechniek. Bart van Marrewijk vertelt er in het kader van zijn promotie alles over.

Met het Nederlandse Plant Eco-phenotyping Centre, kortweg NPEC, beschikken Universiteit Utrecht en Wageningen Universiteit & Research (WUR) en daarmee ook Vision + Robotics over hypermoderne faciliteiten voor het volgen, analyseren en sturen van gewasgroei in een volledige gecontroleerde en bestuurbare tuinbouwkas omgeving. Tijdens proeven en onderzoek, veelal voor externe opdrachtgevers, worden planten daarbij met een vooraf bepaalde frequentie ‘op transport gezet’ om van top tot teen op de foto te worden gezet. Via een automatisch transportsysteem gaan ze naar een gesloten kast waar elke individuele plant rondom door 15 RGB-camera’s stilstaand wordt gefotografeerd. Met de verkregen beelden en data wordt elke plant vervolgens digitaal en volautomatisch ontleed om zo de plantarchitectuur ofwel plantsamenstelling te bepalen. Die architectuur wordt vervolgens gebruikt om elke plant te fenotyperen: welk effect hebben omgevingsfactoren tezamen met genetica op de vorm, groei en productie van bijvoorbeeld tomatenplanten. Informatie die weer relevant is voor plantveredelaars die liefst zo snel mogelijk de vruchten van hun veredeling willen plukken. Dat kan straks met behulp van de mede door Bart van Marrewijk ontwikkelde automatische dataverwerkingspijplijn.

Plantreconstructie met voxel carving

De hierboven genoemde kast met 15 RGB-camera’s maakt deel uit van wat bij Vision + Robotics de ‘Maxi-MARVIN’ wordt genoemd. “De Maxi-MARVIN is een mooi stukje techniek ontwikkeld binnen Vision + Robotics om onder andere planten binnen enkele seconden in 3D te kunnen scannen. Bij andere technieken, zoals 3D scanners, moet de plant worden bewogen om ‘m vanuit alle aanzichten te kunnen fotograferen. Omdat talloze planten in het NPEC dagelijks worden gescand, is het eveneens belangrijk dat dat niet te veel tijd vergt. Daardoor valt ook een groot aantal technieken en methodieken af.”

MaxiMarvin developed by Vision+Robotics at Netherland Plant Eco-Phenotyping Centre in Wageningen

Maxi-MARVIN in het Netherlands Plant Eco-phenotyping Centre in Wageningen

De techniek van de Maxi-MARVIN is gebaseerd op wat in vaktermen voxel carving wordt genoemd. “Dit is een techniek waarbij je aan de hand van ‘gewone’ RGB-camera’s een plant in 3D kunt reconstrueren door ‘voxels’ weg te snijden. Ofwel: indien een pixel waargenomen door een camera geen onderdeel is van de plant, dan kun je alle voxels die op deze pixels geprojecteerd worden verwijderen. Als je dit voor alle 15 camera’s doet, krijg je vervolgens binnen luttele seconden een hele mooie 3D-puntenwolk van een plant. Deze 3D-puntenwolk is met name bij open plantstructuren van erg hoge kwaliteit. Denk daarbij aan tomaat, komkommer of paprikaplanten. Immers bij deze planten zijn er genoeg open ruimtes om die voxels weg te snijden. Echter, voor compacte planten, zoals een dwergtomaat of slaplant, zijn er niet of nauwelijks open plekken zodat voxel carving voor deze planten minder goed werkt. Zo’n plant wordt als het ware een grote blop, zoals een krop sla. En daar kunnen we niets mee.”

Overstap naar 3D camera’s met diepte

Om de nadelen van de Maxi-MARVIN beeldvorming en -analyse aan te pakken, wordt nu gewerkt met alternatieve hardware en aan een automatische dataverwerkingspijplijn. “Voorheen was de dataverwerking nooit echt van de grond gekomen omdat de modellen en algoritmes te beperkt waren en er nauwelijks van kunstmatige intelligentie gebruik werd gemaakt. Dat resulteerde erin dat de modellen niet goed om konden gaan met variatie.” Om planten beter in beeld te brengen, beschikt Vision + Robotics momenteel over een setup met twee 3D RGB-camera’s van fabrikant Photoneo die dankzij stereovisie en ‘parallel structured light’ diepte kunnen zien. Ze zijn gemonteerd aan een frame dat in een gesloten kast met een constante snelheid 360 graden rond een plant draait. “Minder camera’s dus dan in de Maxi-MARVIN die dankzij de 360 graden opname niettemin wel een compleet en zelfs beter beeld van een plant geven omdat het probleem van voxel carving is opgelost. Immers, door gebruik te maken van 3D camera’s maakt het niet uit hoe compact een plant is. Uniek aan het systeem is dat het een stuk sneller is dan voorheen mogelijk was met 3D camera’s. Het is nog altijd wat langzamer dan de Maxi-MARVIN, maar daar krijg je veel voor terug. De setup genereert rechtstreeks een 3D-puntenwolk en ondanks dat het langzamer is, valt het nog steeds binnen de marges om een hele kas met planten te scannen.”

Binnenkort komt ook een ander 3D-scanplatform beschikbaar in NPEC: BABETTE pro (Bucher And Brouwer’s Environment for Time Traversing Experiments). BABETTE was sinds 2020 al aanwezig in NPEC kas en wordt binnenkort vervangen door een professionelere versie. Deze versie is ontwikkeld en gebouwd in het EngD-project van Johan Bucher. Het platform kan een enkele plant of plantenorgaan over een langere periode laten groeien en scannen, omdat het platform een gesloten kast is met daarin groei-LED (wit, blauw en verrood) en een water/voedingstoevoersysteem. Het bewateringssysteem is samen met Rick Hendriksen (TUPOLA/WDS) ontwikkeld. Dit op maat gemaakte platform bevindt zich momenteel in de laatste fase van de bouw in de WUR-werkplaats TUPOLA. De nieuwste verbeteringen van de MARVIN zijn onder meer geïnspireerd op de combinatie van eigenschappen van BABETTE. Het doel van het EngD-project van Johan Bucher is het ontwikkelen van 4D-modellen die bestaan uit time-lapses van een 3D-gescande plant die beschikbaar zijn voor onderzoek en onderwijs. Augmented Reality van 3D-scans is een van de punten die momenteel wordt geïmplementeerd.

Rendered 3D broccoli from the BABETTE PRO system at NPEC

Een impressie van de BABETTE PRO en een gerenderd resultaat van een 3D broccoli.

Puntenwolk ontleden tot plantarchitectuur

“Een hypothese uit mijn promotieonderzoek is dat het plat slaan van 3D beelden tot 2D beelden het eenvoudiger maakt om hoofd- en zijstengels, bladeren en stok te onderscheiden. Dit plat slaan wordt ook wel 3D – 2D reprojectie genoemd. Een van de vele voordelen hiervan is dat je plant van meerdere aanzichten beoordeelt wat resulteert in een grotere nauwkeurigheid. Daarnaast zijn de algoritmes in 2D een stuk verder ontwikkeld. 3D algoritmes worden daarentegen wel steeds en steeds beter en de nieuwste algoritmes komen in de buurt van de 3D – 2D reprojectie. Wellicht dat 3D algoritmes de reprojectie in de toekomst voorbijstreven, maar voor nu willen we planten fenotyperen met de hoogst mogelijke kwaliteit. Daarom is reprojectie voor nu de beste oplossing voor onze toepassingen.”

“Om terug te komen op de puntenwolk, die willen we dus ontleden zodat de plantarchitectuur, de opbouw van een plant, zichtbaar wordt. Bij de meeste planten is dat de hoofdstengel, zijstengels of -takken, de afstand daartussen en ook het bladoppervlak en eventuele vruchten. We stuitten bij de gebruikte algoritmes voor het ontleden van planten echter op het feit dat de zijstengels, hoofdstengels en stok moeilijk van elkaar te onderscheiden waren. Gelukkig is dit opgelost met onze reprojectie methode.”

Voorbeeld van reprojectie waardoor de architectuur van de plant zichtbaar wordt, waarbij onderscheid wordt gemaakt tussen bladeren, hoofdstengel, zijstengels van de plant, en de stok en de pot.

Pijplijn haalt plant als het ware uit elkaar

Bij het bepalen van die plantarchitectuur komt Bart’s dataverwerkingspijplijn om de hoek kijken. “Die pijplijn haalt een plant als het ware digitaal uit elkaar en splitst ‘m in de onderdelen die ik zojuist noemde. Zo krijgen we uiteindelijk het skelet van een plant digitaal in 3D in beeld. Dat skelet bestaat, net zoals bij gewervelde wezens uit een ruggengraat (de hoofdstengel), zijstengels en de zogenoemde internode lengtes. Dat is de afstand tussen vertakkingen. Ook brengen we de hoek van de zijstengels ten opzichte van de hoofdstengel in beeld en de radius ervan. Al deze informatie is belangrijk om het effect van veredelen, het aanpassen van genetica en genotypen, te beoordelen. Bovendien kunnen we met de digitale planten, digital twins zoals we die tegenwoordig noemen, ook simulaties uitvoeren. Op dit moment bevat zo’n skelet echter nog te veel ruis. Dat is iets wat ons als onderzoekers toch wel verrast heeft en wat we de komende jaren in het kader van mijn promotie willen oplossen met behulp van kunstmatige intelligentie.”
Iets waar Bart ook door werd verrast, is dat de omgeving zo snel veranderd. “De snelheid waarmee algoritmes zich ontwikkelen vind ik echt ongekend. Tegelijkertijd valt de beschikbaarheid van goede 3D datasets mij juist weer tegen.”

De pijplijn ontleedt de plant digitaal. Het resultaat is een 3D-afbeelding van het plantenskelet zoals in dit voorbeeld.

Hele sterke partner voor fenotypering

De combinatie van geavanceerde cameratechnieken en geautomatiseerde dataverwerking moet ertoe leiden dat Vision + Robotics straks uiterst betrouwbare en snelle fenotypering aan kan bieden aan andere onderzoekers en aan veredelingsbedrijven. Aanvankelijk op het gebied van vruchtdragende planten zoals tomaten, komkommer en mais en sierplanten in pot in het NPEC. Door samen te gaan werken met bedrijven die de camera- en analysetechnieken implementeren in machines en opstellingen, komen locaties buiten het NPEC en zelfs vollegrondsteelten en viskwekerijen ook binnen bereik. “Al met al ontstaat hier een hele sterke partner voor fenotypering in heel veel verschillende agrifood toepassingen.”

BM (Bart) van Marrewijk MSc

Onderzoeker

Neem contact op met Bart van Marrewij