Raktári robotok, amelyek a látás alapján érzékelnek

Számos alkalommal kerülünk abba a helyzetbe, hogy  a robotunk szakmai perifériáit vizslatva kiderül: a szenzorok nem látnak csak érzékelnek. A jelen cikkben azokra a kérdésekre adunk választ ami a robotok látását firtatja.

Ted Adelson idegtudományi professzor és a Science Hub kutatója elmagyarázza, hogyan lehet a tapintás érzékelését kamerával szimulálva okosabbá tenni a robotokat.

Több mint egy évtizeddel ezelőtt Ted Adelson azt tűzte ki célul, hogy tapintásérzékelő szenzorokat készít robotok számára, amelyek érzékelni fogják a tapintást. Az eredmény? Egy kézi képalkotó rendszer, amely elég erős ahhoz, hogy megjelenítse az egydolláros bankjegyen lévő dombornyomást. A technológiából született meg a GelSight, amely az alacsony költségű, nagy felbontású képalkotás iránti ipari igényt elégítette ki.

Az emberi és a gépi látás szakértőjeként Adelson örült, hogy valami hasznosat alkotott. De soha nem tévesztette szem elől eredeti álmát: a robotok tapintásérzékeléssel való felruházását. Az Amazonnal közös új Science Hub projektjében újra az ügyön dolgozik. Azt tervezi, hogy a GelSight rendszert a hőmérséklet és a rezgések érzékelésére szolgáló képességekkel bővíti ki. Az MIT Agy- és Kognitív Tudományok Tanszékének professzora, Adelson nemrég leült beszélgetni a munkájáról.

K: Miért olyan nehéz az emberi kezet robotban rekonstruálni?

V: Az emberi ujjnak puha, érzékeny bőre van, amely deformálódik, amikor megérinti a tárgyakat. A kérdés az, hogyan lehet pontos érzékelést elérni, amikor maga az érzékelő felület folyamatosan mozog és változik a manipuláció során.

K: Ön az emberi és a számítógépes látás szakértője. Hogyan keltette fel az érdeklődését az érintés?

V: Amikor a lányaim kisbabák voltak, lenyűgözött, hogy milyen ügyesen használják az ujjaikat és a kezüket a világ felfedezésére. Meg akartam érteni, hogyan gyűjtöttek információt az érintésükön keresztül. Mivel látáskutató vagyok, természetesen kerestem a módját, hogy ezt kamerákkal is megtehessem.

K: Hogyan működik a GelSight robotujj? Mik a korlátai?

V: Egy kamera belülről rögzíti a bőr képét, és egy számítógépes látórendszer kiszámítja a bőr 3D-s deformációját. A GelSight-ujjak kiváló tapintásélességet biztosítanak, amely messze meghaladja az emberi ujjakét. A belső optikai rendszer szükségessége azonban korlátozza a ma elérhető méreteket és formákat.

K: Hogyan jutott eszébe az az ötlet, hogy egy robotujjnak tapintási érzéket adjon azáltal, hogy tulajdonképpen látást ad neki?

V: Egy kamera képes megmondani a látott felület geometriáját. Ha egy apró kamerát helyezünk az ujj belsejébe, meg tudjuk mérni, hogyan változik a bőr geometriája pontról pontra. Ez olyan tapintási tulajdonságokról árulkodik, mint az erő, az alak és a textúra.

K: Hogyan kapcsolódott be a kamerákkal kapcsolatos korábbi munkája?

V: A fényvisszaverő anyagok megjelenésével kapcsolatos korábbi kutatásaim segítettek a bőr optikai tulajdonságainak megtervezésében. Egy nagyon vékony matt membránt készítünk, és súroló megvilágítással világítjuk meg, hogy minden részlet látható legyen.

K: Tudta, hogy létezik piac a 3D felületek mérésére?

V: Nem. A posztdoktorom, Kimo Johnson körülbelül egy évtizeddel ezelőtt közzétett egy YouTube-videót, amely bemutatja a GelSight képességeit. A videó vírusként terjedt, és e-mail-áradatot kaptunk érdekes alkalmazási javaslatokkal. Azóta az emberek a technológiát cápabőr, tömött hó és csiszolt felületek mikrotextúrájának mérésére használják. Az FBI a törvényszékieknél használja a töltényhüvelyek összehasonlítására.

K: Mi a GelSight fő alkalmazási területe?

V: Ipari ellenőrzés. Egy ellenőr például egy GelSight-érzékelőt a repülőgép törzsén lévő karcoláshoz vagy dudorhoz nyomhat, hogy 3D-ben megmérje annak pontos méretét és alakját. Ez az alkalmazás egészen másnak tűnhet, mint a babaujjak eredeti inspirációja, de megmutatja, hogy a tapintásérzékelésnek számos felhasználási területe lehet. Ami a robotikát illeti, a tapintásérzékelés jelenleg főként kutatási téma, de várhatóan egyre inkább hasznos lesz az ipari robotokban.

K: Most építik be a hőmérséklet és a rezgések mérésének módját. Hogyan csinálja ezt egy kamerával? Hogyan próbáljátok még utánozni az emberi tapintást?

V: A hőmérsékletet vizuális jellé lehet alakítani, amelyet egy kamera le tud olvasni folyadékkristályok segítségével, azokkal a molekulákkal, amelyek a hangulatgyűrűk és homlokhőmérők színét változtatják. A rezgésekhez mikrofonokat fogunk használni. Azt is ki akarjuk terjeszteni, hogy az ujjak milyen formájúak lehetnek. Végül pedig meg kell értenünk, hogyan használhatjuk fel az ujjból érkező információkat a robotika fejlesztésére.

K: Miért vagyunk érzékenyek a hőmérsékletre és a rezgésekre, és miért hasznos ez a robotikában?

V: Az anyagtulajdonságok azonosítása az érintés fontos szempontja. A hőmérséklet érzékelése segít megállapítani, hogy valami fém vagy fa, illetve hogy nedves vagy száraz. A rezgés segíthet megkülönböztetni egy enyhén texturált felületet, például a lakkozatlan fát, egy tökéletesen sima felülettől, például a fényes felületű fától.

K: Mi a következő lépés?

V: Az első lépés a tapintásérzékelő elkészítése. Ezután következik a hasznos ujjba és kézbe való integrálása. Aztán rá kell venni a robotot, hogy a kezet valós feladatok elvégzésére használja.

K: Az evolúció öt ujjat és két kezet adott nekünk. A robotok is ilyenek lesznek?

V: A különböző robotoknak különböző típusú kezük lesz, különböző helyzetekre optimalizálva. Nagy kezek, kis kezek, három- vagy hatujjas kezek, és olyan kezek, amelyeket ma még csak el sem tudunk képzelni. A célunk az érzékelési képesség biztosítása, hogy a robot ügyesen tudjon interakcióba lépni a világgal.