Gripper pear harvesting robot by Vision+Robotics WUR

Uniek samenspel tussen plantenkennis en robotica voor innovaties in precisiefruitteelt

13 maart 2024

Binnen het project The Next Fruit 4.0 werken zo’n 35 partners samen aan het doorontwikkelen van technologische oplossingen voor precisiefruitteelt. Enkele sleutelwoorden van het project zijn digitalisering, precisie gewasbescherming, arbeidsoptimalisatie, robotisering en bovenal rentabiliteit. Onderzoeker Jochen Hemming over de uitdagingen in het snoeien van bessenstruiken en de eerste succesvolle perenoogst met een robotarm.

The Next Fruit 4.0 is een vervolg op het publiek-private samenwerkingsproject PPS Precisietuinbouw (ook wel Fruit 4.0 genoemd). In het project Fruit 4.0 is aangetoond wat er met nieuwe technologie en datamanagement bereikt kan worden in de Nederlandse fruitteelt. Op initiatief van onder meer de Koninklijke Nederlandse Fruittelers Organisatie (NFO) en FME voeren Wageningen University & Research (WUR) en het Delphy Improvement Centre momenteel het vervolgproject genaamd The Next Fruit 4.0 uit. Onderzoekers van Vision + Robotics, powered by WUR, leveren in een aantal werkpakketten een cruciale bijdrage aan het project. In totaal werken een breed consortium uit het bedrijfsleven en fruittelers binnen het project aan verduurzaming van teelt en keten, opbrengstmaximalisatie en kostenminimalisatie. Bijzonder aan The Next Fruit 4.0 is een financiële bijdrage van de Washington Tree Fruit Research Commission, wat de samenwerking met Amerikaanse universiteiten en het bedrijfsleven mogelijk maakt.

Zes werkpakketten

Het project is onderverdeeld in zes werkpakketten:
1. Sensing
2. Managementinformatie
3. Robotisering
4. Randvoorwaarden
5. Implementatie, economische validatie en innovatieadoptie en
6. Een innovatiecirkel
Concreet moet je daarbij denken aan onder meer aan het detecteren van bomen, takken, vruchten en bloesem voor precisie gewasbescherming. Aan sensortechnologie voor stress-, ziekte- en plaagdetectie en het monitoren van het gewas en het product (zowel voor de oogst als na de oogst). En aan grijpers voor het gerobotiseerd snoeien en oogsten van voornamelijk peren en het snoeien van rode bes struiken.

Focus op peer en multifunctionele robotica

Dr. Jochen Hemming, senior onderzoeker computer vision & robotica bij Vision + Robotics en verantwoordelijk voor het werkpakket robotisering, legt uit waarom specifiek voor peren en voor de rode bes is gekozen. “Op wereldschaal is er zowel wetenschappelijk als commercieel relatief veel aandacht voor appelplukrobots. In Nederland beperkt de oogstperiode zich echter tot zes tot acht weken en bovendien worden er in de Benelux inmiddels meer peren dan appels geteeld. Daarom, en omdat het project wordt gefinancierd door fruittelers lid van de NFO, de Topsector Tuinbouw & Uitgangsmaterialen en het Nederlandse bedrijfsleven, is voor peren gekozen.

Multifunctional pruning and harvesting robot from The Next Fruit 4.0

Multifunctionele robot protoype uit onderzoekspriject The Next Fruit 4.0

In het kader van het projectdoel kostenminimalisatie kijken we daarbij naar multifunctionele toepassingen van robots en grijpers en dan komt naast de oogst ook al snel het snoeien in beeld. Beide taken kampen met een toenemend tekort aan kwalificeerde arbeid. En omdat onder de deelnemende fruittelers ook rode bes telers zijn, is de scope verbreed naar het snoeien van rode bes struiken. Voor beide snoeitaken is de sensoriek, de combinatie van camera’s, sensoren en grijpers erg complex en daarom werken de onderzoekers van The Next Fruit 4.0 ook samen met de onderzoekers van het Digital Orchard programma van OnePlanet.” Hemming concentreert zich overigens als een van de weinige onderzoekers binnen Vision + Robotics op robotarmen en grijpers terwijl de meeste andere onderzoekers zich vooral richten op machine vision, kunstmatige intelligentie (KI/AI) en spectrale beeldanalyse.

Betaalbare camera gezocht

Net als binnen het Digital Orchard programma, loopt ook Hemming er tegenaan dat uitgerijpte industriële technologieën niet altijd voldoende geschikt en robuust zijn voor landbouwtoepassingen. Dat geldt zowel voor robotarmen als sensoren als computers. Vocht, stof, (zon)licht en temperaturen lager dan 5 graden Celsius blijken de grootste uitdaging te geven. Terwijl snoeien juist vaak in koudere periodes met een hoge vochtigheid plaatsvindt.

“Een snoeischaar robotiseren is niet het probleem. Dat hadden we al snel voor elkaar. Het detecteren van te snoeien takken blijkt echter wel veel uitdagender dan gedacht. De voor de hand liggende technologie daarvoor is een stereocamera, zoals de bekende en betaalbare Intel RealSense of SteroLabs ZED camera’s. Deze past kostentechnisch en qua rekenkracht maar heeft moeite met het herkennen van dunne objecten zoals kleine takken en steundraden maar ook met direct zonlicht en met bewegende takken en vruchten. Alternatieve camera’s zijn veelal te duur voor de praktijk. LiDAR sensoren generen op hun beurt dan weer heel veel data die je niet zomaar realtime kunt verwerken. Ook bevat alleen LiDAR data geen kleureninformatie, die vaak wel essentieel is om rijpe vruchten te herkennen of het type hout wat gesnoeid moet worden. We hebben best veel camera’s bekeken en aangeboden gekregen zoals van apiCAM van de start-up photonicSENS of de hoge resolutie 3D camera van Photoneo. Maar de zoektocht naar de meest geschikte camera loopt nog. Wat we nodig hebben is sensoriek die zowel diepte als kleur kan detecteren en onderscheiden en die om kan gaan met de eerder beschreven praktische uitdagingen in boomgaarden. De prijs van een camera ligt idealiter onder de €1.000.”

Bessenstruik snoeien extra uitdagend

Voor een consument lijkt het snoeien van een perenboom wellicht vergelijkbaar met het snoeien van een rode bessenstruik. Kenners weten wel beter en Jochen Hemming inmiddels ook. “Wat vooral meespeelt is dat takken van naast elkaar staande bessenstruiken door elkaar heen groeien. Met name het in kaart brengen van de specifieke struikstructuur blijkt uitdagend voor vision en robotica. De sensoriek en de achterliggende algoritmen moeten namelijk bepalen welke tak bij welke struik hoort. Is dat eenmaal gelukt, dan is het snoeien van een bessenstruik juist eenvoudiger dan het snoeien van een perenboom. Fruittelers snoeien bessenstruiken minder specifiek en minder gericht dan perenbomen. Technologisch gezien durven we nu uitdagingen aan die we vijf tot 10 jaar geleden niet voor mogelijk hielden. Dat is mede omdat we nu over meer rekenkracht en in het bijzonder over kunstmatige intelligentie en deep-learning algoritmen beschikken.” Voor het ontwikkelen van geschikte sensoriek denkt Hemming ook aan de door OnePlanet ontwikkelde sensorset voor de Digital Orchard.

Sense en act loskoppelen?

Eén van de mogelijkheden om dataverzameling los te koppelen van het daadwerkelijke snoeien, is om de detectie, sensing in een eerste werkgang te doen. De data kunnen dan centraal verwerkt worden zodat rekenkracht geen beperking is. Met algoritmen en desgewenst met hulp van snoeiexperts, kun je dan een taakkaart genereren voor snoeien in een tweede werkgang. “Daarmee los je in één keer twee uitdagingen op. Je bent minder beperkt qua rekencapaciteit en dataverwerking en je hoeft niet meer in een split second te beslissen wat en hoe er gesnoeid moet worden. De keerzijde is echter dat de situatie tussen het moment van waarnemen en het moment van snoeien gewijzigd kan zijn. Niet zozeer wat betreft de bomen of struiken, maar wel wat betreft weer en wind.”

Eerste succesvolle perenoogst met robotarm

Om naast de aandacht die er is voor het gerobotiseerd snoeien toch even terug te komen op gerobotiseerd oogsten van peren; afgelopen herfst slaagden de onderzoekers en het bedrijfsleven erin om op Proeftuin Randwijk, de fruitteelt onderzoeklocatie van WUR, de eerste Conference peren te oogsten met een robotarm. Jochen Hemming vertelde er tijdens de Sciencedag van de NFO over.

Veldtest van prototype perenoogstrobot in PPS The Next Fruit 4.0. Let op: deze video is opgenomen als onderdeel van een onderzoeksactiviteit. Een supervisor met noodstop was aangesteld en altijd aanwezig. De maximale snelheid van de robot was om veiligheidsredenen beperkt.

“Om een appel te plukken maakt de robotarm met de grijper en zuigmond een draaiende trekkende beweging. Terwijl de robotarm voor het plukken van een peer een naar boven gerichte plukbeweging moet maken. Dat doen we met een optilbeweging door een mechanisme dat in de grijper is geïntegreerd. Een belangrijke en cruciale innovatie waardoor de robotarm die optilbeweging niet zelf hoeft uit te voeren.”

“Over robotarmen gesproken, ik merk een voorzichtig toenemende interesse in de land- en tuinbouw bij grote fabrikanten zoals bijvoorbeeld ABB Robotics en Kuka. Ze staan open voor agrarische toepassingen maar vinden het ‘umfelt’ nog wel complex. Het Japanse Denso bijvoorbeeld is al wel enthousiast en ook al actief in de land- en tuinbouw, met onder meer een robot voor het oogsten van tomaten in de kas.”

Behoefte industrie verschuift naar kennis

Hemming en zijn team zien de behoefte van de industrie en van machinefabrikanten langzaamaan verschuiven van technologie naar kennis. “Agronomische kennis zoals wat is de beste snoeistrategie. Maar ook kennis over return on investment berekeningen ten aanzien van automatisering en robotisering. En kennis over gewasgroeimodellen, digital twins en simulatie. Denk daarbij aan een dynamisch gewasgroeimodel in 3D en aan het voorspellen van de positie waar een appel of peer gaat groeien. Ik denk dat wij van Vision + Robotics, powered by WUR, op dat vlak dé partner zijn voor partijen omdat wij de verbinding kunnen leggen tussen de plant, modellering en kunstmatige intelligentie en robotica.”

dr. J (Jochen) Hemming

Senior onderzoeker computer vision & robotics in de tuinbouw

Categories: Tuinbouw, LandbouwTags: ,

Neem contact op met dr. J (Jochen) Hemming