digital twin of an existing orchard

Digitale boomgaarden: snoei-expertise vastleggen in digital twins, data en modellen

17 januari 2024

Terwijl vele onderzoekers, bedrijven en start-ups werken aan oplossingen voor robotplukken, besloot het OnePlanet Research Center zich te richten op een andere uitdaging en aanpak. Een uitdaging die wordt gevoed door vergelijkbare maatschappelijke aspecten, maar op een heel andere schaal. Nu deskundige telers met pensioen gaan, verdwijnt ook hun kennis en expertise. Het vastleggen van die kennis van snoei-experts wereldwijd in digital twins, data en modellen door echte boomgaarden en gewasbeheerbeslissingen te digitaliseren, kan helpen om het veilig te stellen voor toekomstige generaties.

Het OnePlanet Research Center is een unieke multidisciplinaire samenwerking waarin de expertise en knowhow van Wageningen University & Research (WUR), Radboud Universiteit, Radboudumc en imec wordt gebundeld om de nieuwste chip- en digitale technologie te verwerken in geavanceerde datagestuurde oplossingen, onder andere voor de land- en tuinbouw. Een van de onderzoeksprogramma’s is ‘Digital Orchard’, waarin onderzoekers domeinoverschrijdend werken aan digitale oplossingen om bestaande boomgaarden voor te bereiden op de voedselproductie van de toekomst. Bas Boom is projectleider en expert computer vision bij imec-OnePlanet. Hij legt uit hoe de oplossingen van OnePlanet telers, studenten, experts en adviseurs kunnen helpen bij het onderhoud van boomgaarden voor de efficiënte productie van gezond fruit en bessen.

Echte boomgaarden en beslissingen over gewasbeheer digitaliseren

Boom licht toe: ‘We weten allemaal dat de stijgende kosten en beperkte beschikbaarheid van arbeid een bedreiging vormen voor de voedselproductie, niet alleen nu maar ook in de toekomst. Collega-onderzoekers en -ontwikkelaars die werken aan oplossingen voor robotplukken onderkennen dit, maar bij OnePlanet zien we een andere discrepantie ontstaan. Over de hele wereld neemt de gemiddelde leeftijd van telers snel toe. Wanneer deskundige telers met pensioen gaan, verdwijnen ook hun kennis en expertise. Unieke en zeer waardevolle kennis, die niet altijd wordt veiliggesteld voor toekomstige generaties. We willen daarom die kennis van snoei-experts over de hele wereld vastleggen in data, digital twins en modellen door echte boomgaarden en beslissingen over gewasbeheer te digitaliseren.’ Om te beginnen richt OnePlanet zich op de ontwikkeling van robottechnologie voor appelboomgaarden. Boom vervolgt: ‘Appels zijn een hoogwaardig gewas en er wordt al wel gewerkt aan robotpluk, maar een oplossing als robotsnoei voor appelbomen hebben we vooralsnog niet gezien. Snoeien blijkt ook lastiger te zijn, omdat hiervoor andere en meer expertise nodig is dan voor plukken. Verder kan het snoeiseizoen wel drie maanden duren, terwijl de appelpluk, tenminste in West-Europa, maar twee of drie weken per jaar duurt.’

Unieke sensorset maakt digital twin van boomgaard

De onderzoekers proberen zeker niet om het wiel opnieuw uit te vinden of om zelf apparatuur te gaan produceren. ‘Wat we doen is upcyclen, technologie upgraden of combineren tot hogere technology readiness levels (TRL’s).’ Eén voorbeeld dat Boom graag noemt, is de door OnePlanet ontwikkelde sensorset om een digital twin van bestaande boomgaarden te maken. ‘Veel onderzoekers en bedrijven gebruiken betaalbare en op zich betrouwbare dieptecamera’s (op basis van gestructureerd licht of time of flight). Maar helaas is de diepteresolutie van de standaard industriële camera’s niet voldoende en zijn ze niet betrouwbaar genoeg bij zonlicht onder de zware omstandigheden in buitenteelten. Het gebruik van high-end industriële stereovisiecamera’s zou dit kunnen oplossen, maar er is enorm veel rekenkracht nodig om alle vastgelegde beelden te koppelen aan hun exacte locatie. Een ander mogelijk nadeel is het gebrek aan betrouwbaarheid, duurzaamheid en resolutie van standaard industriële camera’s onder de zware omstandigheden in buitenteelten. Daarom gebruiken we een unieke sensorset bestaande uit twee enkelvoudige RGB-camera’s voor stereo- (en dus diepte-) zicht, SLAM (simultaneous localisation and mapping) én een LiDAR-sensor. De camera’s leggen de boomgaard driedimensionaal vast en de LiDAR- en SLAM-technologie gebruiken we voor georeferencing van de vastgelegde beelden in de boomgaard. De sensorset is heel licht, zodat je hem niet alleen op een voertuig kunt monteren, maar ook op een drone. De sensorset is ook zeer geschikt voor veredelaars van fruitbomen om snel en objectief boomeigenschappen vast te leggen die van belang zijn bij hun veredelingswerkzaamheden.’ Om de LiDAR-technologie nog robuuster te maken, ontwikkelt OnePlanet momenteel een verbeterde LiDAR-sensor zonder roterend deel om slijtage te voorkomen en de duurzaamheid en betrouwbaarheid te vergroten.

digital orchard scanning equipment at WUR Randwijk orchard

De sensorset scant rijen appelbomen in de boomgaard van WUR Randwijk

Precisiesnoei

Zoals we hiervoor al aangaven, worden de sensorset en de daaraan gekoppelde machine learning ingezet om digital twins van bestaande boomgaarden te maken. Een boomgaard wordt tot acht keer per jaar gescand. Daarbij wordt de groei van de bomen en het fruit in detail in beeld gebracht. Daarnaast worden de gegevens gebruikt om de effecten bij te houden van snoeibeurten en (in de toekomst) ook van bloesem- en worteldunningsbeurten. En om terug te komen op de geleidelijk verdwijnende deskundigheid van snoei-experts die met pensioen gaan: echte bomen uit de gedigitaliseerde boomgaard worden gebruikt om snoeibeslissingen van die experts vast te leggen. ‘We hebben nu digitale bomen die experts virtueel kunnen snoeien met behulp van een virtual reality (VR)-headset. Hoe, waar en wat ze snoeien wordt geregistreerd en geanalyseerd. We zijn niet op zoek naar de beste snoeimethode of -stijl, want iedereen heeft een andere stijl. We willen verschillende stijlen vastleggen om modellen te maken voor robotsnoei en om toekomstige snoeiers te trainen en op te leiden. In de praktijk beproefde en haalbare oplossingen zijn daarvoor onmisbaar. Toen we de VR-oplossing aan verschillende opleidingen en snoei-experts lieten zien, merkten we dat sommige snoeiers naar de knoppen kijken om te bepalen waar ze precies gingen snoeien. In de toekomst hopen we een “knoplaag” toe te voegen aan onze VR-omgeving.’ Volgens Boom kunnen dit soort snoeimodellen bijzonder waardevol zijn. ‘Bovendien kunnen we met onze technologie en modellen in een heel vroeg stadium de effecten van precisiesnoei op de toekomstige fruitproductie voorspellen, of die nu handmatig, virtueel of met robots plaatsvindt. Snoeien is hoe dan ook een manier om de toekomstige fruitproductie te sturen en te stabiliseren, en deskundigen weten dat verkeerd snoeien invloed heeft op toekomstige fruitoogsten.’

digital orchard scanning showing branch pruning leaf initiation and leaf growth in time

Digitale boomgaarden, scans van links naar rechts: snoeien van takken (januari-maart), bladaanzet (maart-april), bladgroei (maart-mei)

Digital twins maken gerobotiseerde snoeioplossingen mogelijk in de boomgaard

Bas Boom is ervan overtuigd dat met behulp van de modellen op basis van de digital twins van boomgaarden en virtueel snoeien door deskundigen, 60 procent of zelfs meer van de totale snoei zal kunnen plaatsvinden met gerobotiseerde snoeioplossingen. Om te beginnen in appelboomgaarden, maar de technologie kan vrij eenvoudig worden aangepast voor andere soorten fruit, zoals peren. ‘En het zal niet beperkt blijven tot buitensituaties. Het zou ook geschikt kunnen zijn voor land- en tuinbouw in gecontroleerde omgevingen (Controlled Environment Agriculture, CEA), zoals kassen. Onze grootste uitdaging is niet het snoeien zelf, maar het vermijden van fouten. Want, zoals ik eerder vertelde, snoeibeslissingen hebben invloed op toekomstige oogsten. Positief (hogere opbrengsten), maar ook negatief (lagere opbrengsten) als je fouten maakt.’ Het onderzoek en de proeven waren in eerste instantie gericht op geautomatiseerde snoei van eenjarige takken. Maar de dubbele RGB-camera’s bleken daarvoor niet optimaal, omdat pas gegroeide takken groener zijn en meer verschillen van kleur. ‘Hyperspectrale camera’s kunnen ons helpen om te bepalen welke takken eenjarig zijn, omdat eenjarige takken beter kunnen worden onderscheiden met behulp van het infraroodspectrum. En we verwachten zelfs dat we met hyperspectrale camera’s bomen en takken kunnen detecteren die lijden aan plantenziekten en insectenplagen’, legt Boom uit.

Leidt autonoom snoeien door robots tot veranderende snoeistrategieën?

De focus van het Digital Orchard-onderzoeksprogramma ligt op dit moment op het modelleren van de beslissingen en het gedrag van mensen bij het snoeien om daarmee autonome robotsnoei mogelijk te maken. Boom is ervan overtuigd dat het onderzoek kan leiden tot veranderende snoeistrategieën. ‘Met snoei door robots in aanvulling op mensenwerk verlagen we de arbeidskosten en liggen meer snoeirondes binnen handbereik. Autonome robots kunnen boomspecifiek en op maat snoeien. Vaker snoeien en/of minder bomen snoeien per snoeironde kan meer fruit van betere kwaliteit opleveren.’
Om de initiële toepassing van robotsnoei te versnellen en te vereenvoudigen, ziet Boom ook de inzet van een hybride-oplossing met mensen en autonome robots voor zich. ‘Bij interactie van een menselijke snoeier met een robotsnoeier, kan diegene de robot een bepaalde boom of tak laten snoeien die in onze modellen niet voor snoeien werd geselecteerd.’

Multifunctioneel platform ook voor opbrengstvoorspelling en precisiespuiten

Het onderzoek is gericht op vision en robotica voor autonoom snoeien, maar de unieke eigenschappen van de sensorset bieden veel meer mogelijkheden. Vooral in combinatie met de steeds hogere resolutie van camera’s en LiDAR-sensoren. ‘Er kan mee gescand worden, ook voor ziekten, schimmels en opbrengstvoorspelling, precisiespuiten, snoeien, oogsten en plukken, enzovoort. En niet alleen bij appels, zoals eerder genoemd, maar bij veel meer soorten fruit en bessen en ook in andere voedselproductiesystemen.’
Om de ontwikkeling en plannen voor autonoom snoeien verder te optimaliseren, willen de onderzoekers graag in contact komen met meer (internationale) snoei-experts en boomgaardeigenaren. ‘Onze oplossing is uniek omdat we vertrouwen op de digitalisering van echte bomen en snoei-expertise in plaats van op synthetische bomen. Maar daarvoor hebben we meer bomen, meer boomgaarden, meer locaties, meer rassen, meer soorten fruit en meer input van telers en snoeiers nodig. Vanuit technologisch oogpunt willen we graag in contact komen met bedrijven die geïnteresseerd zijn in de modellen die worden ontwikkeld voor autonoom snoeien / robotsnoeien en met onderwijsinstellingen die geïnteresseerd zijn in onze VR-snoeioplossing voor training en onderwijs.’

Lees hier meer over Digital Orchard.

dr. J (Jochen) Hemming

Senior Onderzoeker Computer Vision & Robotica

Neem contact op met dr. J (Jochen) Hemming