Hoe het filmen van je klusjes de Android-butlers van de toekomst zou kunnen trainen

De droom om humanoïde robots in elk huis in te zetten heeft een nieuw soort baan gecreëerd. De enige vereisten zijn een hoofdband, een smartphone en een lijst met klusjes.

Met de evolutie van kunstmatige intelligentiehumanoïde robots zijn de nieuwste grens geworden in de race om te domineren geavanceerde technologie. Robotmakers introduceren een reeks nieuwe modellen die met toenemende behendigheid kunnen lopen, dansen en vechten.

Maar de heilige graal van de snelgroeiende industrie – een robot voor algemeen gebruik die in winkels, kantoren en woningen kan werken – heeft een enorme hoeveelheid data nodig om te leren hoe je veilig en mensen effectief vervangen. Die gegevens worden steeds vaker gecreëerd door mensen die zichzelf filmen terwijl ze alledaagse huishoudelijke taken uitvoeren.

Dit heeft geleid tot een vraatzuchtige honger naar first-person beelden die gebruikt kunnen worden om robots te trainen, ook wel bekend als ‘egocentrische data’ of ‘menselijke data’. De afgelopen maanden zijn startups tussenbeide gekomen om aan die vraag te voldoen door video’s van duizenden contractarbeiders over de hele wereld te verzamelen en te annoteren.

“Productie, fabrieksmagazijnen, winkels, verpleeghuizen, ziekenhuizen – je zult dit soort data in vrijwel elke omgeving nodig hebben, en dat komt omdat de bewegingen allemaal verschillend zijn”, zegt Arian Sadeghi, vice-president van robotica data bij Micro1, dat vorig jaar begon met het rekruteren van zijn eigen leger van externe videografen.

Elke persoon ontvangt een hoofddeksel waarop een camera kan worden bevestigd, filminstructies en een lijst met taken zoals koken, schoonmaken, tuinieren en dierenverzorging. Van werknemers wordt verwacht dat zij afwisselend opdrachten uitvoeren en elke week ten minste 10 uur aan videomateriaal inleveren.

Terwijl de opnames momenteel draaien om huishoudelijke taken, zegt Sadeghi dat het bedrijf aannemers aanmoedigt om te experimenteren met wat ze filmen, voor het geval het robots uiteindelijk zou kunnen helpen zich sneller aan te passen aan nieuwe omgevingen en verantwoordelijkheden.

“Wat we ze vertellen is: ‘Als je denkt dat je wilt dat een robot dit voor je doet, ga je gang en neem het op’”, zei Sadeghi.

Hoewel Micro1 is gevestigd in Palo Alto, Californië, heeft het ongeveer 4.000 ‘robotica-generalisten’ in verschillende huishoudens in 71 landen, die het bedrijf elke maand meer dan 160.000 uur aan videomateriaal sturen. Sadeghi zei dat dat nog lang niet genoeg is.

‘Je hebt waarschijnlijk miljarden uren nodig’, zei hij. “We zijn nog niet eens toegekomen aan menselijke interacties. Dit zijn slechts eenvoudige huishoudelijke klusjes.”

Hij zei dat de groeiende vraag naar data in robotica het vroege traject van ChatGPT weerspiegelt andere AI-chatbots. ChatGPT is getraind op basis van honderden miljarden woorden die van internet zijn verzameld en gebruikt wat het heeft geleerd over tekstpatronen om de meest waarschijnlijke reacties op gebruikersprompts te genereren.

Na tekst evolueerden AI-modellen om op aanvraag aangepaste afbeeldingen en video’s te produceren door te vertrouwen op direct beschikbare inhoud online. Maar robotontwikkelaars hebben een veel specifiekere set trainingsgegevens nodig en missen dezelfde soort directe bibliotheek die het internet voorheen bood.

Dat is een kans van meerdere miljarden dollars geworden voor startups als Micro1, die ook de video’s annoteren zodat robots objecten, afstanden en fysieke bewegingen kunnen onderscheiden. Marktonderzoeksbureaus schatten dat de gegevensverzamelings- en etiketteringsindustrie jaarlijks gemiddeld met ongeveer 30% zal groeien, onder impuls van de groei in Azië, om in 2030 minstens 10 miljard dollar te bereiken.

Ravi Rajalingam, oprichter van het data-annotatiebedrijf Objectways, leverde audio- en visuele data om AI-aangedreven virtuele assistenten en zelfrijdende auto’s te trainen, voordat hij vorig jaar zijn focus verlegde naar robotica. Sinds hij aannemers is gaan inhuren om menselijke gegevens te verzamelen, heeft hij ontdekt dat slechts ongeveer de helft van de ingediende beelden bruikbaar is.

Toch zijn sommigen, met 90% van zijn klanten gevestigd in de VS en hun veronderstelling dat Amerikaanse consumenten de koopkracht hebben om humanoïde robots vroegtijdig te adopteren, bereid meer te betalen voor gegevens van Amerikaanse huishoudens, ook al kan het uurloon wel drie keer zo hoog zijn als dat van een werknemer in Vietnam of India.

“De Indiase keuken is heel anders dan de Amerikaanse keuken. Een bezemsteel in India is heel anders dan een bezemsteel in de VS. Variatie is dus belangrijk, maar het hangt ervan af waar je je robots eerst gaat plaatsen”, aldus Rajalingam. “Dat is de reden dat we over de hele wereld verzamelen.”

Al tientallen jaren worden robots vooral getraind om taken uit te voeren door mensen met behulp van afstandsbedieningen. Maar daarvoor is veel dure hardware nodig. Meer recentelijk is het een goedkopere optie geweest om software te gebruiken om virtuele scenario’s te simuleren, hoewel dit over het algemeen minder effectief is voor interacties met fysieke objecten, zoals het oppakken van een glas.

“Bij data is het altijd een afweging tussen kwaliteit en kwantiteit”, zegt Alicia Veneziani, vice-president marktexpansie voor Sharpa, een in Singapore gevestigde androïden-startup die gespecialiseerd is in robothanden.

China, dat staatsinvesteringen stort naar hightech-industrieënheeft plannen aangekondigd voor minstens 60 robottrainingscentra in het hele land. De meeste humanoïde robots die tot nu toe in China in massa zijn geproduceerd, zijn gekocht voor training en onderzoek, zegt Marco Wang, een in Shanghai gevestigde analist voor Interact Analysis, een technologieonderzoeksbureau.

Maar eind vorig jaar begon de industrie het gebruik van menselijke data te omarmen als een middenwegoplossing, aangezien de enige kosten een opnameapparaat zoals een GoPro, een Meta-bril of een smartphone zijn, en uurlonen van ergens tussen de $ 5 en $ 20, afhankelijk van de regio.

“Het idee hier is: oké, ik wil niet dat de robot de taak uitvoert. Ik wil dat de mensen de taak uitvoeren”, zei hij. “Op deze manier hoef je niet voor de robots te betalen, maar alleen voor de apparatuur en de mensen.”

Wang zei dat hij in Japan en Zuid-Korea bedrijfsmodellen heeft gezien die vergelijkbaar zijn met de dataverzamelingscentra in China, maar met bases in Zuidoost-Azië om te profiteren van goedkopere arbeid. Tesla heeft zijn mensachtige Optimus-robot getraind in zijn eigen faciliteiten in Fremont, Californië en is van plan uit te breiden in Austin, Texas. Wang zei dat de VS en Europa de voorkeur geven aan simulatietraining, verdedigd door Nvidia, dat ‘s werelds meest geavanceerde computerchips ontwerpt.

Echter, bij een Rapport februariNvidia zei dat het opnemen van meer dan 20.000 uur aan first-person video’s in robottraining het succespercentage van taken zoals het oprollen van T-shirts, het sorteren van speelkaarten, het losschroeven van flessendoppen en het gebruik van een injectiespuit met meer dan 50% verbeterde.

“Als je maar op één manier van dataverzameling vertrouwt, is dat waarschijnlijk niet de beste aanpak”, zegt Wang, die verwacht dat bedrijven steeds vaker strategieën gaan combineren. “In de toekomst zal het een mix van verschillende benaderingen zijn.”

Het keerpunt voor autonome robots kwam drie jaar geleden, toen de grote taalmodellen die ChatGPT mogelijk maakten aanleiding gaven tot een nieuw algoritme dat visuele signalen omzet in fysieke actie, zegt Puneet Jindal, medeoprichter van het data-annotatiebedrijf Labellerr AI. Robots die ooit waren geprogrammeerd voor repetitieve taken konden de wereld om hen heen gaan waarnemen en navigeren.

Zijn bedrijf is dit jaar begonnen met het verzamelen van eigen first-person video’s van werknemers in productiefaciliteiten in India. Volgens Jindal is het een ‘no-brainer’ om de komende drie jaar prioriteit te geven aan menselijke gegevens. Maar die hausse zal wellicht niet blijven duren. Binnenkort zou die inhoud de simulatietraining kunnen verbeteren, of als AI online gevonden YouTube-video’s kan omzetten in first-person, zou dat een vervanging kunnen worden, zei hij.

“Zelfs robotica-laboratoria hebben het gevoel dat ze niet weten welke gegevens over twaalf maanden nodig zullen zijn”, zegt hij.

Een deel van de reden dat robots voor algemeen gebruik zoveel training nodig hebben, is vanwege de extreme onvoorspelbaarheid in huishoudelijke omgevingen, omdat meubels, apparaten en mensen voortdurend bewegen, zegt Rutav Shah, een robotica-onderzoeker aan de Universiteit van Texas in Austin.

“Wat werkelijk ontbreekt is een mensachtige intuïtie van krachten, wrijving en onzekerheid die mensen gedurende hun hele leven verwerven,” zei Shah. “Robots algemeen bruikbaar maken voor alledaagse huishoudelijke taken zoals koken en schoonmaken, dat wordt de laatste stap van de automatisering.”

Tot nu toe zijn humanoïde robots vooral ingezet in gecontroleerde omgevingen zoals fabrieken, waar ze 99,9% van de tijd hun taken kunnen uitvoeren, zegt Alexander Verl, voorzitter van onderzoek bij de International Federation of Robotics. Zelfs bij het vouwen van T-shirts is het huidige succespercentage nog steeds te laag om commercieel levensvatbaar te zijn, zei hij.

“De kans dat het zal slagen ligt doorgaans rond de 70 tot 80%. Omdat het uit de productie komt, is dat echt niet iets waar onze industriële partners gebruik van willen maken”, aldus Verl.

Rajalingam van Objectways benadrukte ook de veiligheidsrisico’s: als een robot een speelkamer schoonmaakt, maar het verschil niet kan zien tussen een pop en een menselijke baby, kunnen de resultaten desastreus zijn.

“Als de robot mijn baby meeneemt en in een afvalbak gooit, komt de rechtszaak van een miljoen dollar”, zei hij.

Het testen van robots met baby’s is nog ver weg, zei Rajalingam. Hij voegde er echter aan toe dat ze al met honden zijn begonnen.