A FuseBot robot legyőzi a tárgyak egy halomból való kiemelésének kihívását

A FuseBot robot legyőzi a tárgyak egy halomból való kiemelésének kihívását

Ez a robotrendszer rádiófrekvenciás jeleket, számítógépes látást és komplex következtetéseket használ, hogy hatékonyan megtalálja a halom alá rejtett tárgyakat.

Az emberek számára egy halom tárgy alá temetett, elveszett pénztárca megtalálása meglehetősen egyszerű – egyszerűen eltávolítjuk a tárgyakat a halomból, amíg meg nem találjuk a pénztárcát. Egy robot számára azonban ez a feladat a halomról és a benne lévő tárgyakról való összetett következtetést jelent, ami komoly kihívást jelent.

Az MIT kutatói korábban bemutattak egy olyan robotkart, amely a vizuális információkat és a rádiófrekvenciás (RF) jeleket kombinálja, hogy megtalálja az RFID-címkékkel (amelyek egy antenna által küldött jeleket tükröznek) megjelölt, elrejtett tárgyakat. Erre a munkára építve most egy olyan új rendszert fejlesztettek ki, amely hatékonyan képes megtalálni bármilyen, egy kupacban elásott tárgyat. Amíg a halomban lévő tárgyak egy része RFID-címkével van ellátva, a céltárgyat nem kell megjelölni ahhoz, hogy a rendszer megtalálja azt.

A FuseBot néven ismert rendszer mögött álló algoritmusok következtetéseket vonnak le a halom alatt lévő tárgyak valószínűsíthető helyéről és orientációjáról. Ezután a FuseBot megtalálja az útjában álló tárgyak eltávolításának és a céltárgy kiemelésének leghatékonyabb módját. A FuseBot több eldugott tárgyat talál meg, mint egy korszerű robotrendszer, ráadásul feleannyi idő alatt.

Ez a sebesség különösen hasznos lehet egy e-kereskedelmi raktárban. A FuseBot-rendszerrel egy visszáru feldolgozásával megbízott robot hatékonyabban találhatná meg a tételeket egy rendezetlen kupacban – mondja a vezető szerző, Fadel Adib, a Villamosmérnöki és Informatikai Tanszék docense és a Médialabor Signal Kinetics csoportjának igazgatója.

„Ez a tanulmány mutatja be először, hogy egy RFID-címkézett tárgy puszta jelenléte a környezetben sokkal könnyebbé teszi más feladatok hatékonyabb elvégzését. Erre azért voltunk képesek, mert multimodális érvelést adtunk a rendszerhez – a FuseBot a látás és az RF alapján is képes érvelni, hogy megértse a tárgyak halmát” – tette hozzá Adib.

Adib mellett Tara Boroushaki, aki a tanulmány vezető szerzője, Laura Dodds és Nazish Naeem kutatóasszisztensek is részt vesznek a munkában. A kutatást a Robotics: Science and Systems konferencián.

Egy nemrégiben készült piaci jelentés szerint az amerikai kiskereskedők több mint 90 százaléka használ már RFID-címkéket, de a technológia nem általános, ami olyan helyzetekhez vezet, amikor a halmokon belül csak egyes tárgyak vannak megjelölve.

Ez a probléma inspirálta a csoport kutatását.

A FuseBot segítségével egy robotkar egy hozzácsatolt videokamerát és RF-antennát használ arra, hogy egy vegyes halomból előkerítsen egy jelöletlen céltárgyat. A rendszer a kamerával letapogatja a kupacot, hogy 3D-s modellt készítsen a környezetről. Ezzel egyidejűleg az antennájáról jeleket küld az RFID-címkék felkutatására. Ezek a rádióhullámok a legtöbb szilárd felületen áthatolnak, így a robot mélyen „belelát” a halomba. Mivel a céltárgy nincs megjelölve, a FuseBot tudja, hogy a tárgy nem található pontosan ugyanott, ahol az RFID-címke.

Az algoritmusok egyesítik ezeket az információkat, hogy frissítsék a környezet 3D-s modelljét, és kiemeljék a céltárgy lehetséges helyzetét; a robot ismeri a tárgy méretét és alakját. Ezután a rendszer a halomban lévő tárgyak és az RFID-címkék helyéről következtetéseket von le, hogy meghatározza, melyik tárgyat kell eltávolítani, azzal a céllal, hogy a lehető legkevesebb mozgással találja meg a céltárgyat.

Boroushaki szerint kihívást jelentett ezt az érvelést beépíteni a rendszerbe. A robot nem tudja, hogy a tárgyak hogyan helyezkednek el a halom alatt, vagy hogy egy puha tárgyat hogyan deformálhatnak a rá nyomó nehezebb tárgyak. Ezt a kihívást valószínűségi következtetésekkel oldja meg, és a tárgy méretéről és alakjáról, valamint az RFID-címke helyéről tudott információk alapján modellezi azt a 3D teret, amelyet az adott tárgy valószínűleg elfoglal.

A tárgyak eltávolítása során az érvelés segítségével azt is eldönti, hogy melyik tárgyat lenne a „legjobb” eltávolítani a következő lépésként.

„Ha egy embernek egy halom tárgyat adok átkutatásra, valószínűleg először a legnagyobb tárgyat fogja eltávolítani, hogy megnézze, mi van alatta. A robot hasonlóan jár el, de az RFID-információkat is beépíti a megalapozottabb döntés meghozatalához. Azt kérdezi: „Mennyit fog még megérteni erről a kupacról, ha ezt a tárgyat eltávolítja a felszínről?””. mondja Boroushaki.

Miután eltávolított egy tárgyat, a robot újra végigvizsgálja a kupacot, és az új információkat felhasználva optimalizálja stratégiáját.

A csapat több mint 180 kísérletet hajtott végre valódi robotkarokkal és háztartási tárgyakkal, például irodaszerekkel, plüssállatokkal és ruhákkal teli kupacokkal. Változtatták a kupacok méretét és az egyes kupacokban lévő RFID-címkézett tárgyak számát.

A FuseBot az esetek 95 százalékában sikeresen kihúzta a céltárgyat, míg a másik robotrendszer esetében ez az arány 84 százalék volt. Ezt 40 százalékkal kevesebb mozgással érte el, és több mint kétszer olyan gyorsan tudta megtalálni és visszaszerezni a céltárgyakat.

„Nagy javulást látunk a sikerességi arányban az RF-információk beépítésével. Az is izgalmas volt látni, hogy képesek voltunk a korábbi rendszerünk teljesítményét elérni, sőt meghaladni azt olyan esetekben, amikor a céltárgy nem rendelkezett RFID-címkével” – mondja Dodds.

A FuseBot sokféle környezetben alkalmazható, mivel a szoftver, amely az összetett következtetéseket végzi, bármilyen számítógépen megvalósítható – csak kommunikálnia kell egy kamerával és antennával rendelkező robotkarral, teszi hozzá Boroushaki.

A közeljövőben a kutatók azt tervezik, hogy összetettebb modelleket építenek be a FuseBotba, hogy jobban teljesítsen deformálható tárgyakon. Ezen túlmenően különböző manipulációkat szeretnének felfedezni, például egy olyan robotkart, amely eltolja a tárgyakat az útból. A rendszer jövőbeli iterációit egy olyan mobil robot is használhatná, amely több halomban keresné az elveszett tárgyakat.

Forrás: https://news.mit.edu/2022/robot-pick-place-hidden-objects-0629