a virtual greenhouse showing cucumber plants in rows and a harvesting robot in one of the rows

Synthetische data en robotsimulaties tillen vision en robotics naar compleet nieuw niveau

4 juni 2025

Veel mensen beschouwen synthetische data misschien als de volgende grote ontwikkeling in de ‘AI-revolutie’, maar het team van WUR Vision + Robotics ziet synthetische data gewoon als een belangrijk onderdeel van vision en robotica. Onderzoekers Trim Bresilla en Arjan Vroegop leggen uit hoe en waarom.

Deep learning als aanjager

Vroegop begint met een terugblik. “Een tijdje geleden zag ik een video van een gerobotiseerde komkommeroogstmachine die 25 jaar geleden door Wageningse onderzoekers is ontwikkeld. Deze had een robotarm en eindeffector die werkten op basis van klassieke robotprogrammering. Kunstmatige intelligentie (AI) was toen nog niet beschikbaar. Oogsten met robots was, en is nog steeds, een grote uitdaging en dergelijke oplossingen zijn nog niet commercieel verkrijgbaar. Veel bestaande robots hebben moeite om goed te presteren in de echte agrifood-wereld. De grootste uitdaging in het agrifood-domein zit hem in de natuurlijke variatie van dieren, voedsel en planten. Eigenlijk op alle gebieden waar vision en robotics actief zijn. Dat zijn andere omstandigheden dan in een gestandaardiseerde (industriële) omgeving zoals fabrieken en magazijnen, waar gestandaardiseerde objecten op vooraf bepaalde locaties en plaatsen staan. Om nog maar te zwijgen van stof, vochtigheid, zonlicht, schaduw, wind, neerslag, enzovoort buiten en in kassen.”

“Sinds ongeveer 2016 is deep learning een nieuwe component in onze toolbox. We hebben de technologie en de toepassingen heel snel zien opkomen”, zegt Trim Bresilla. Vroegop: “Met deep learning kunnen we algoritmes robuuster maken. Zo is het bijvoorbeeld mogelijk om oogstbare komkommers te detecteren in een volledig groene omgeving op zowel bewolkte als zonnige dagen. Daarnaast kunnen we er in gewassen in het open veld onkruid mee vinden en op een snelle transportband vis detecteren en classificeren. Dat alles is mogelijk met vision-systemen waarin AI is geïntegreerd. Handelingen door robots worden vaak nog op de klassieke manier geprogrammeerd, zoals 25 jaar geleden. Ik voorspel dat op AI gebaseerde robotbesturing de volgende grote ontwikkeling zal zijn. In Wageningen zijn we hier dan ook helemaal klaar voor.”

Virtual fish dropping off virtual a conveyor belt in a simulation

Een 3D-omgeving maakt ook fysieke experimenten mogelijk, zoals transportbandsimulaties of robotinteractie. Een lopende band kan bijvoorbeeld oneindig draaien met willekeurige partijen vis, wat resulteert in een eindeloze stroom van hoogwaardige, geannoteerde trainingsdata.

Synthetische data verbeteren vision en robotica

Vroegop is ervan overtuigd dat de combinatie van het gebruik van synthetische gegevens en roboticasimulatie zowel het onderzoek als de toepassingen van vision en robotica zal versnellen en verbeteren. “We gebruiken al kunstmatige beelden om neurale netwerken te trainen. Met synthetische data kunnen we complete velden met planten, gewassen, onkruid, bomen en boom- of wijngaarden nabootsen. Maar ook complete kassen die nauwelijks van echt te onderscheiden zijn. Deze omgevingen gebruiken we niet alleen voor synthetische data om AI-modellen voor vision te trainen, maar ook voor robotsimulaties. Ik gebruik bewust de term simulatie in plaats van digital twin, omdat digital twin in mijn ogen echt een modewoord is dat vaak op de verkeerde manier wordt gebruikt. In Wageningen hebben we veel domeinkennis, modellen en gegevenssets voor het hele agrifood-domein. Hiermee kunnen we virtuele werelden maken die we gebruiken voor robotsimulatie. Zo kunnen we de ontwikkeling van robots en vision-systemen in het agrifood-domein naar een hoger niveau tillen. Een goed voorbeeld hiervan is de virtuele visfabriek. Dit is een simulatie met realistische 3D-vissen als bouwsteen voor de automatisering van de visserijsector.”

A composite of three images. Left shows a 3D scanning setup scanning a fish. In the middle the result of the scan: a 3D brown fish. On the right, a 3D conveyor belt with 3D fish on it.

Een belangrijk aspect voor realistische 3D-simulaties is het hebben van realistische 3D-modellen. Links afgebeeld de 3D-scanopstelling, ontwikkeld door onderzoekers van Vision+Robotics in Wageningen, die nauwkeurige 3D-modellen kan maken voor een breed scala aan onderwerpen, zoals vissen of planten. Het voorbeeld in het midden toont een virtuele vis, gemaakt van 3D-modellen, waarbij volledige controle over positie, compositie en belichting mogelijk is. Tot slot, rechts, een partij 3D-vissen op een lopende band simulatie.

Robots verbeteren met simulatie

Bresilla: “Simulatiehulpmiddelen zijn ideaal om (mensachtige) robots te trainen en te verbeteren. Het opvoeden en trainen ervan vertoont parallellen met menselijke baby’s die opgroeien en door middel van beloningen en straffen leren welk gedrag wel of niet de voorkeur heeft. Met robotsimulatie kunnen we hetzelfde doen. Bovendien is er in een gesimuleerde wereld geen sprake van schade door ongewenst gedrag van robots Je kunt op elk moment resetten en opnieuw beginnen. En je kunt verschillende softwareversies in dezelfde omgeving en situatie steeds opnieuw testen. Een belangrijk element is dat je opnieuw een oplossing kunt creëren en in dezelfde simulatie kunt implementeren.”

Vroegop legt dit uit aan de hand van twee voorbeelden. “Als je bijvoorbeeld fruit of groenten wilt oogsten, is het in de echte wereld erg tijdrovend om het prototype van je eindeffector te testen, opnieuw te ontwerpen en opnieuw te testen. Bovendien worden er nieuwe variëteiten en teeltstrategieën geïntroduceerd en zodra dat het geval is, is je omgeving plotseling anders. Het oogstseizoen van appels en asperges is bijvoorbeeld erg kort. Door synthetische data en simulaties te gebruiken, kun je steeds weer hetzelfde fruit oogsten. Je kunt ook de groeifase van het gewas veranderen en in een handomdraai een nieuwe soort virtueel introduceren.”

A virtual tractor drives through a virtual orchard

Een simulatieomgeving voor robots in open velden en boomgaarden. Door de simulatie te koppelen aan ROS2, kunnen robots worden getest in een realistische omgeving.

3 grote voordelen van het gebruik van synthetische data en simulaties

De onderzoekers zien drie grote voordelen van het gebruik van synthetische data en simulaties. Het eerste voordeel heeft te maken met de hoeveelheid gegevens die je nodig hebt om AI-modellen te maken. Bresilla: “Data en afbeeldingen moeten worden geannoteerd. Dit is nog steeds een menselijke activiteit, of in ieder geval gedeeltelijk, die veel tijd kost en dus duur is. In een gesimuleerde omgeving kun je in een oogwenk veel variatie introduceren. Bijvoorbeeld daglicht, nacht/duisternis, zon, dauw, mist, schaduwen enzovoort. En je kunt de computer willekeurige omstandigheden laten genereren en het annotatiewerk laten doen.”

Het tweede voordeel is dat synthetische data flexibiliteit bieden. “De camera’s en sensoren die worden gebruikt om gegevens vast te leggen, worden razendsnel beter. De huidige camera’s leggen veel meer details vast dan die van vroeger, waardoor de gegevens heel snel verouderen. In een virtuele omgeving kun je voor nieuwe camera’s gewoon een nieuwe dataset introduceren.”

En last but not least: in een gesimuleerde wereld kun je anticiperen op situaties die zelden voorkomen of gebeurtenissen die nog moeten plaatsvinden. “Je kunt langere komkommers, rode wortels of gele sinaasappels introduceren. Of een nieuw type (invasief) onkruid dat (nog) niet voorkomt in natuurlijke velden. En je kunt elk type sensor in elke gewenste hoek gebruiken zonder dat je deze in de echte wereld hoeft te installeren en te veranderen.”

De volgende golf: fysieke AI

Vroegop woonde onlangs de NVIDIA GTC’25 bij, een congres over AI dat werd georganiseerd door NVIDIA en meer dan 25.000 bezoekers naar Californië trok. “Dergelijke congressen en de bijbehorende mogelijkheden om te netwerken zijn essentieel voor onderzoekers en ontwikkelaars om up-to-date te blijven. Hierdoor realiseerde ik me dat technieken als deep learning gemeengoed worden en voor iedereen beschikbaar komen als een kant-en-klare tool. De volgende grote stap in AI wordt fysieke AI. Dit draait volledig om zelflerende robots (bijv. reinforcement learning) die interactie hebben met complexe omgevingen. Tijdens het congres werd ook bevestigd dat het agrifood-domein te klein is om bepaalde ontwikkelingen betaalbaar te maken. Dat betekent dat we moeten meeliften op andere sectoren, zoals de auto-industrie.” Bresilla vult aan: “Zo zien we bijvoorbeeld wat betreft waarneming dat de inzet van LiDAR-sensoren een uitdaging is in stoffige omstandigheden, terwijl sonarsensoren niet met dit probleem kampen.”

De (nabije) toekomst

Arjan Vroegop: “In ons vak is het al een uitdaging om te voorspellen wat de volgende stap zal zijn, laat staan om te voorspellen wat er over vijf jaar zal gebeuren. Waarschijnlijk zal onze aanpak in de nabije toekomst eerst simulatie zijn. Ik denk dat we eerst dingen gaan ontwikkelen en laten werken in een gesimuleerde wereld en het dan naar de echte wereld brengen. Ik geloof ook dat robots niet meer zullen worden geprogrammeerd door mensen, maar dat het zal gaan om het trainen van een model. We maken de overstap van hard-coding naar het trainen van robots die zelf kunnen leren van hun ervaringen.”

Trim Bresilla: “Naarmate de simulaties steeds beter worden, zullen we evolueren naar simulatiegestuurd ontwerpen. De zogenaamde kloof tussen sim en echt, die nog steeds bestaat, zal naar mijn mening vervagen. In sommige gevallen zal de kloof zelfs onherkenbaar worden. Als je hier deel van wilt uitmaken, dan moet je zeker contact opnemen met Vision + Robotics; wij zijn waarschijnlijk een van de weinige instellingen ter wereld die alle benodigde competenties en vaardigheden combineren met de benodigde faciliteiten op het gebied van natuur. Wij weten hoe we bedrijven kunnen helpen met synthetische data en robotsimulatie en dat is nog steeds vrij uniek.”

Trim Bresilla, onderzoeker digitale landbouw, AI en robotica en Arjan Vroegop, onderzoeker mechatronica, robotica en automatisering bij Wageningen University & Research programma Vision + Robotics maken beiden deel uit van een team van momenteel zo’n 60 onderzoekers onder leiding van programmamanager Erik Pekkeriet. Ze zijn onder andere gespecialiseerd in (generatieve) AI, deep en machine learning en robotsimulatie.

JA (Arjan) Vroegop MSc

Onderzoeker mechatronica, robotica en automatisering

Neem contact op met JA (Arjan) Vroegop MSc