3D simulation of mackerel for fishing industry

Simulatie met 3D vissen: een bouwsteen voor de automatisering van de visserij

19 februari 2024

Over een aantal jaren hebben kotters en trawlers een camera en robot aan boord. Ontwikkeld met behulp van synthetische data en AI. Onderzoeker Arjan Vroegop over automatisering van de visserij, game engines, Masenro 3 en hoe je vissen kunt tellen zonder die allemaal te zien.

Schollen vallen kriskras naar beneden op een lopende band waarop ook stenen, schelpen en andere vissen liggen. Floep, daar duikelt weer een vis over het computerscherm. Dan valt een schelp uit de lucht en nog een, en dan zie je nog meer vissen over elkaar tuimelen en struikelen. Achter de knoppen van de simulatie zit WUR-onderzoeker Arjan Vroegop. “We zijn bezig met synthetische data een robot ‘op te leiden’ zodat hij onder meer het verschil kan leren tussen een schol en bijvangst.”

Vroegop heeft de simulatie gemaakt met zijn collega’s van WANDER lab. Een WUR-groep die zich richt op virtual en augmented reality. Zij hebben 3D vissen gemaakt voor een virtuele omgeving. Kijk, daar komen op zijn beeldscherm weer een paar schollen op de lopende band voorbij. Vroegop: “Die band beweegt langs een camera. Op deze manier kun je het handmatig annoteren van data automatiseren. Met als doel de robot te leren welke vissoorten hij ziet, ook als die slecht of niet zichtbaar zijn.”

3D-simulatie om een algoritme te bouwen voor verschillende toepassingen in de visserij

Het oogt alsof je naar een soort game kijkt. Niet vreemd: de beelden zijn gemaakt met behulp van een game engine. De 3D-modellen komen uit een onlinebibliotheek. De volgende stap: zelf vissen en andere objecten inscannen zodat je de simulatie nog realistischer kunt maken. Vroegop probeert evenzo het gedrag van vallende vissen in de simulatie na te bootsen. “Die moeten op een zo realistisch mogelijke wijze over en langs andere vissen glijden, zodat ze op een natuurgetrouwe manier op de band komen te liggen.”

Het is relatief nieuw, robots trainen binnen een simulatieomgeving. Op dat gebied valt veel te ontdekken en winnen, vertelt Vroegop. Helemaal in combinatie met die game engines. “In de auto-industrie trainen ze zelfrijdende auto’s ook al deels in een virtuele omgeving.” Het doel van de vissimulatie: een algoritme bouwen geschikt voor verschillende toepassingen binnen de viswereld. Wanneer je eenmaal een geschikte simulatie hebt, en de manieren kent om nieuwe 3D-modellen toe te voegen, maakt het niet uit of je iets ontwikkelt voor aan boord van een schip of voor een visverwerkingsbedrijf. Vroegop: “Het allermooiste zou zijn als je straks aan boord van een viskotter een robot hebt die uit de vangst alleen die vissen oppakt die geschikt voor consumptie zijn.”

De video toont de 3D-simulatie waarbij de schol op een lopende band wordt getransporteerd, vermengd met schelpen en stenen. De computer ziet niet alleen elk object, maar weet ook of het een schol is of een schelp of steen.

Betrouwbare inschatting vangst in de pelagische visserij

De pelagische visserij is een heel andere tak van sport dan de viskotterij. Je praat over vriestrawlers die soms zes weken op zee zijn om vis te vangen. Makreel, haring, blauwe wijting. Na de vangst en sortering wordt de gevangen vis direct aan boord ingevroren en in kartonnen dozen verpakt. In het schip zit een volledige verwerkingsfabriek en een vrieshuis. “Daar heb je letterlijk ruimte voor meer automatisering en Vision + Robotics”, zegt Vroegop, die -opnieuw- via een simulatie probeert een robot te leren hoe die makrelen moet tellen. Dat is makkelijk als die vissen keurig naast elkaar op een lopende band liggen. Maar dat is meestal niet het geval. Ze liggen vooral door elkaar en op elkaar, en dat is lastiger tellen. Vroegop: “Wij zijn aan het kijken of we die robot kunnen leren een totaalinschatting te maken van de hoeveelheid gevangen vis, terwijl die slechts een deel daarvan ziet.” De oplossing: kunstmatige data verzamelen met behulp van de simulatieomgeving. “Je kijkt dan niet alleen naar de bovenlaag met vis, waar ligt waar en hoe groot zijn die vissen, maar je maakt ook een scan van het volume.” Bij elkaar weet je dan het totaalvolume. “Op basis van de informatie die je hebt van het zichtbare deel, kun je een betrouwbare schatting maken van het totaal. Met als doel een foutmarge van minder dan 5% naar links of naar rechts.”

3D simulation of mackerel

Makrelen liggen door elkaar op een lopende band, maar de computer weet precies welke vis welke is: dit kan gebruikt worden om AI te trainen. 3D-scans bepalen vervolgens of er meerdere lagen op elkaar liggen. De afbeelding rechts toont diepte: de kleuren geven de afstand tot de camera aan.

Automatisering een prioriteit in de visserij

Automatisering komt binnen de visserij alsmaar hoger op de agenda. Mede door het groeiende personeelsgebrek. Een van de innovatie gangmakers is het WUR-visproject Masenro 3 (Marine Sensing & Robotics 3). Een verzameling visserijprojecten met als gemene deler detectie. Met camera’s en AI kun je al veel zien, maar nee, nog niet alles. Daarom kijkt Vroegop ook hoe hij andere type sensoren kan toepassen. Daarbij werkt hij niet met simulaties, maar met echte vis en echte sensoren. “Met behulp van X-Ray sensoren kunnen we zoeken naar beschadigingen zoals interne bloedingen. Ook gaan we met hyper- of multispectrale sensoren kijken of we het vetgehalte van een vis kunnen bepalen. Dat kan bij een makreel zelfs dwars door de huid heen.”

Techniek en natuurlijke variatie

Arjan Vroegop is Vision + Robotics-expert binnen de business unit glastuinbouw. Een andere wereld dan de visserij, maar die twee passen prima bij elkaar. Omdat beide qua uitdagingen op elkaar lijken. Het gaat over natuurproducten. En elke tomaat, appel, makreel en haring is anders. De combinatie van techniek en natuurlijke variatie vindt Vroegop interessant. “Een robot in een autofabriek staat in een gedefinieerde omgeving. Hij kent die goed, net zoals het product waarmee hij werkt.” Een robot die een zalmfilet verpakt, staat nog steeds in een bekende omgeving, maar niet elke zalm is gelijk. Er is meer onbekendheid rond het product. Die groeit als je een oogstrobot de kas instuurt of een robot een vis van een band laat halen. Hoe meer onzekerheid je voor een robot naar binnen brengt, hoe lastiger die dat kan handelen. “Dat kunnen omgaan met onzekerheid is de grootste uitdaging voor robotica binnen agri en food.”

Dit onderzoek wordt uitgevoerd door het Vision+Robotics team van Wageningen Universiteit & Research als onderdeel van het project Masenro3 (Marine Sensing and Robotics 3). Dit onderzoeksproject is een publiek-private samenwerking en wordt gefinancierd door: Coöperatieve Redersvereniging voor de Zeevisserij UA, VCU Robotics BV, Nationaal Overleg Visafslagen (NOVA), RapiD Engineering BV en de Topsector Agri & Food.

JA (Arjan) Vroegop MSc

Onderzoeker Vision+Robotics

Neem contact op met JA (Arjan) Vroegop MSc