Een robot maken die begrijpt wat er half achter een muurtje verscholen staat? Het is een uitdaging waarvoor ze bij het lectoraat Smart Mechatronics and Robotics hun hand niet omdraaien. Op bezoek bij projectmanager Clint Scholten en junior system engineer Willem van Rossum, leren we wat occluded objects zijn en wat sensorfusie inhoudt. Alles voor de ideale toepassing, van een robot die afval opruimt tot een autonoom systeem dat appels plukt.
Wie naar het Enschedese Connect-U gaat, gevestigd in het voormalige Sint Jozefziekenhuis, mag rekenen op technologische creativiteit. Na een tocht langs betonnen pilaren en een moderne inrichting, is de redacteur van dit artikel ineens ‘dubbel aanwezig’. Op een groot scherm verschijnt zijn evenbeeld: een mensfiguur dat is opgebouwd uit felgekleurde, horizontale lijntjes. Willem van Rossum, junior system engineer, snelt toe. Hij legt uit dat we te maken hebben met geavanceerde sensortechnologie.
Niet veel later, als we de eerste indrukken achter de rug hebben, nemen we samen met Willem en projectmanager Clint Scholten plaats in een andere ruimte. Aanleiding voor ons gesprek is de LitterBot. “Ja,” begint Clint gelijk uit te leggen, “dat is een robotplatform van het bedrijf TechTics. Zij hebben een robot gemaakt die het strand kan opruimen. Daarbij wordt alles gescand en worden er ‘plaatjes’ van bijvoorbeeld afval geïdentificeerd. Daar hoort dan een soort Tinder-app bij, waarmee je door alle afvalplaatjes kunt swipen. Zo leert de LitterBot met de hulp van mensen wat echt afval is en wat niet.”
Beeld dat wordt gegenereerd met behulp van de sensortechnologie op het robotplatform van Smart Mechatronics and Robotics.
Verstopte obstakels
Een schonere leefomgeving met behulp van robots. Het is een mooi, maatschappelijk relevant doel, waar systeemtechnisch gezien best nog haken en ogen aan zitten. Zo is afval als een sigarettenpeuk behoorlijk klein, wat identificatie bemoeilijkt. Ook is de capaciteit van een LitterBot beperkt; de bijbehorende afvalbak zit letterlijk snel vol. “Wat verder lastig is rondom het autonoom laten rijden van dit soort platformen,” vertelt Clint, “is het goed interpreteren van je omgeving. Natuurlijk, we kennen het voorbeeld van zelfrijdende auto's; daar zijn al behoorlijk wat stappen in gezet. Maar er zijn dus een aantal scenario’s die een uitdaging vormen. Neem het omgaan met occluded objects.”
Occluded objects. Het blijkt een term te zijn voor ‘objecten’ die gedeeltelijk achter iets anders verstopt zitten. Denk aan een persoon die achter een muurtje staat, en waarvan je als toeschouwer alleen een arm ziet. “Wij maken daar als mensen meteen een logisch plaatje van,” zegt Clint, “maar voor sensoren op robots en de software die daarachter zit is dat ontzettend complex. Tegelijkertijd gaat het om een belangrijke uitdaging. Zo’n LitterBot gaat op drukke plekken komen waar veel mensen lopen. Veiligheid is dan belangrijk. TechTics heeft ons gevraagd om samen met hen een studie uit te voeren. Om te kijken met welke typen sensoren wij aan de hand van omgevingsdata een bepaald beeld kunnen schetsen.”
Robotplatform van het lectoraat Smart Mechatronics and Robotics.
Sensorfusie
Straks meer over het neusje van de zalm op het gebied van sensoren. “Het geheim van de smid zit hem erin dat de gegevens van al die sensoren moeten worden gefuseerd,” zegt Clint. “Er is een hele hoop kennis en kunde nodig om uiteindelijk een conclusie te kunnen trekken. Zoals: hé, ik ben nu hier. Of: dit is een auto, en dat is een mens.” Willem vult aan: “Voor LitterBot hebben we een systeem gemaakt waarmee op basis van een point cloud een driedimensionale kaart van de omgeving kan worden gegenereerd. Maar zoals Clint al zei heb je ook te maken met occluded ojects en een mensenmenigte. Dat maakt het generen van zo’n map erg lastig.”
De digitale weergave van de redacteur, die we bekeken aan het begin van onze ontmoeting, was vooral te danken aan een sensor die LiDAR wordt genoemd; het staat voor Light Detection And Ranging. Bij Smart Mechatronics and Robotics beschikken de onderzoekers over een rijdend robotplatform – vergelijkbaar met het platform van TechTics – waarop een LiDAR is bevestigd. Het gaat om een soort mechanisch oog, dat een ‘360-gradenblik’ op de omgeving heeft. Willem: “In de kern is een LiDAR een sensor waarmee je lasers uitschiet in een cirkel, en die lasers weerkaatsen dan objecten. Je krijgt dan allemaal punten die in een cirkel of scan staan; zo ontstaat een point cloud.”
Na een kwartiertje rondrijden, hadden we daar al een terabyte aan data opgehaald...
It’s the data, stupid
Hoewel de LiDAR essentieel is voor de inzet van het robotplatform van het lectoraat, spelen daarnaast nog diverse andere technologieën een rol. Bijvoorbeeld voor het lokaliseren van de plek waar je je precies bevindt op een digitaal gegenereerde kaart. Bij al die processen worden grote hoeveelheden data vergaard. Data die moet worden gefuseerd en waaruit conclusies moeten worden getrokken. In het licht van al die data-uitdagingen en de samenwerking met TechTics, bezochten Willem, Clint en associate lector Mohammad Aldibaja de FBK Games 2024, een sportevenement én een internationale proeftuin voor technologie. Ze konden daar naartoe dankzij een zogenaamde Innofest X SIA Sport-subsidie.
Clint haalt herinneringen op: “Na een kwartiertje rondrijden, hadden we daar al een terabyte aan data opgehaald. Het verwerken van die gegevens vraagt behoorlijk wat rekenkracht van je systeem, en dat kan een beperkende factor zijn gelet op de snelheid waarmee een taak kan worden uitgevoerd. Dan is het interessant om te kijken – wanneer we al die datasetjes naast elkaar hebben – welk type data een absolute must is om met een hoge frequentie te meten. En om te kijken welke data we wellicht in mindere mate nodig hebben. Zo kun je de hoeveelheid data per seconde omlaag krijgen, zonder dat je nauwkeurigheid verliest.”
Het ophalen van data was een doel op zich bij de FKB Games. Niet alleen om te leren hoe je efficiëntere robotplatformen kunt ontwikkelen, maar ook om meer te weten te komen over de omgang met occluded objects. Clint: “We hebben daar de hele zondag gestaan en rondjes gereden met het systeem. Gewoon door het publiek, terwijl we beeldmateriaal verzamelden. Bij onze stand konden mensen op een groot scherm zien wat de robot zag. Daar werd heel verschillend op gereageerd. Sommige bezoekers vonden de autonomie van robotica een beetje eng; anderen vonden het helemaal fantastisch. Zeker als ze hoorden over de toekomst, en het doel om uiteindelijk een goed werkend systeem te hebben dat ons afval opruimt.”
We werken daarom veel samen met mkb-partijen, die geïnteresseerd zijn in de doorontwikkeling van dergelijke systemen.
Landbouw en AI
Wat betreft gedroomde toepassingen, blijft het zeker niet alleen bij afval opruimen. “We proberen vanuit het lectoraat bijvoorbeeld de landbouwsector te helpen,” zegt Clint. “Stel je een appelboomgaard voor waar geoogst moet worden. Dan heb je een ‘karretje’ nodig dat met een constante snelheid taken kan uitvoeren. Zonder dat na vijf minuten het geheugen vol zit, of de batterij al leeg is omdat er inefficiënt wordt gerekend. We werken daarom veel samen met mkb-partijen, die geïnteresseerd zijn in de doorontwikkeling van dergelijke systemen.”
Bij die doorontwikkeling kan kunstmatige intelligentie mogelijk een steeds grotere rol gaan spelen. Bijvoorbeeld om te zorgen voor efficiëntere datafusie. Smart Mechatronics and Robotics kan dan samen optrekken met de AI-specialisten van het lectoraat Ambient intelligence. Clint benadrukt dat samenwerking met het lectoraat Ethiek en Technologie daarbij ook belangrijk is. Om tijdig na te denken over vragen als: wat mag een autonoom robotplatform allemaal wel of juist niet kunnen doen? “Je ziet dan echt een kruisbestuiving tussen verschillende expertises,” zegt Clint.
Gewoon iets maken
Een andere kruisbestuiving vond plaats tussen het lectoraat Smart Mechatronics and Robotics en de master Robotic Systems Engineering. “Ik werk hier inmiddels een half jaar,” zegt Willem. “Nadat ik klaar was met de master Robotic Systems Engineering, mocht ik als medewerker van het lectoraat de VIDAR backpack maken waarmee we nu dus alle data kunnen genereren.” De onmisbare ‘rugzak’ van een robot maken, vol met de nieuwste technologie: er zijn minder uitdagende manieren om na je studie aan het werk te gaan. “Ik vind het erg leuk om gewoon iets te maken,” zegt Willem met gevoel voor understatement. “Nu ik zie dat mijn setup ook voor andere projecten wordt gebruikt, weet ik dat mijn werk echt zin heeft.”
En waar haalt Clint zijn motivatie vandaan? “Ik ben van origine landbouwingenieur,” zegt hij. “De landbouw staat voor een hele grote uitdaging, ook in de regio. Ik ben opgegroeid achter Boekelo, tussen de boeren. De technieken waar wij nu mee bezig zijn kunnen in potentie erg veel gaan betekenen voor de landbouwtransitie van de komende jaren. Ik zie gewoon de impact die wij kunnen maken. Als je dan in gesprek bent met bedrijven en ziet dat ze bij je terugkomen, dan word ik helemaal enthousiast.”
Video en fotografie (m.u.v. headerbeeld): Thomas Busschers
