RoboSense AC1: Integrace LiDARu, kamery a inerciální měřicí jednotky s otevřenými algoritmy

od OpenELAB

na Jan 09

Nová kategorie „Aktivní kamera“ si klade za cíl vyřešit problémy s kalibrací hardwaru a fragmentací softwaru v robotickém vnímání.

Robotický průmysl se rychle rozvíjí – od humanoidních prototypů po hromadně vyráběné čtyřnohé roboty – ale požadavky na vnímací systémy předbíhají současný hardware. Tradiční kamery, které spoléhají na pasivní viditelné světlo, mají potíže se změnami okolního osvětlení. Binokulární (stereoskopické) kamery umožňují měření vzdálenosti, ale trpí nízkou přesností, rušením světlem a omezenou odolností. Podobně řešení založená na strukturovaném světle a iToF často nesplňují požadavky na dlouhý dosah nebo jsou vybledlá slunečním světlem venku.

Historicky bylo inženýrské řešení vrstvení kamery s externím LiDARem (dToF). Ačkoliv toto přidává informace o hloubce, vytváří to objemný systém, který je neefektivní na vývoj a obtížně se vyrábí ve velkém. Obvykle to nutí vývojáře ručně řešit zdlouhavou vnější kalibraci a synchronizaci.

Inženýři čekali na integrované vnímací řešení – včetně podpůrného softwaru – které odstraní fázi „vynalézání kola“ při základní fúzi senzorů.

AC1: Fúze senzorů na úrovni hardwaru

Po průlomovém úspěchu ve hromadné výrobě plnohodnotných LiDAR čipů RoboSense využil svou vlastní digitální SPAD-SoC čipovou technologii k vytvoření nové kategorie vnímacího hardwaru: Aktivní kamera (AC1).

AC1 je navržena jako „vše v jednom“ řešení pro robotické vnímání. Na rozdíl od tradiční metody vrstvení samostatných senzorů poskytuje AC1 fúzi hloubky, barvy a pohybové polohy (IMU) na úrovni hardwaru. Tato integrace umožňuje vnímacím systémům přejít od složitých, na míru stavěných sestav k standardizované, komerčně životaschopné součástce.

RoboSense podporuje tento hardware „AI-připraveným“ ekosystémem, který nabízí základní softwarové nástroje a otevřené algoritmy pro výrazné zkrácení vývojových cyklů.

Generální ředitel RoboSense Qiu Chunchao popisuje Aktivní kameru jako „pravé oko robota“ a zve vývojáře z celého světa, aby využili ekosystém k posouvání hranic robotického vnímání.

Technické údaje: Za hranicí tradičních 3D kamer

AC1 přechází z „pasivního příjmu“ na „aktivní sběr“, dosahuje časoprostorové synchronizace svých datových toků. Jeho výkonnostní parametry řeší několik klíčových problémů tradičních 3D kamer:

Zorné pole (FOV): 120°x60° zorné pole pro hloubku a 144°x78° pro barvu (sloučené: 120°x60°). To pokrývá přibližně 170 % plochy standardních 3D kamer.
Dosah: Maximální měřicí vzdálenost 70 m (více než 600 % oproti tradičním 3D kamerám).
Odolnost vůči prostředí: Zvládá silné venkovní světlo až do 100 kLux.
Přesnost: Udržuje přesnost 3 cm při 1σ i na objektech s 10% odrazivostí ve vzdálenosti 20 m. Důležité je, že přesnost se s rostoucí vzdáleností výrazně nesnižuje, což umožňuje přesné obnovení tvaru od blízka až do dálky.

Praktické zkušenosti: Co říkají inženýři

AC1 již testují významní hráči, včetně Národního a místního společného inženýrského výzkumného centra pro humanoidní roboty a CASBOT.

Li Yuexuan, inženýr algoritmů ve Společném centru, zdůraznil výhody tvaru a velikosti:

„Dostupný prostor pro umístění senzorů na stávajících humanoidních robotech je omezený. Kalibrace a zarovnání různých senzorů zvlášť je obtížné a chybí snadno použitelné algoritmy pro vícesenzorovou fúzi. AC1 šetří místo pro umístění a může přímo sloučit algoritmy pro obrazy, bodové mračna a IMU, čímž dosahuje vynikajících výsledků v SLAM, vnímání a lokalizaci.“

Yang Guodong, spoluzakladatel a vedoucí týmu pohybové inteligence v CASBOT, vyjádřil podobný názor ohledně integrace systému:

„Náš tým pro vnímání a hardware je s AC1 velmi spokojený. Nejenže eliminuje zdlouhavou práci s kalibrací a zarovnáním různých senzorů zvlášť, ale také snižuje počet hardwarových součástek, čímž šetří vnitřní prostor, což je velmi přátelské pro návrh kompaktních humanoidních robotů.“

Ekosystém připravený na umělou inteligenci: Otevřené SDK a algoritmy

Hardware je jen polovinou řešení. Jádrem hodnoty AC1 je ekosystém připravený na umělou inteligenci, navržený k přetvoření vývojových postupů. Tento ekosystém je rozdělen do tří částí: AC Studio, WIKI a Datové sady.

AC Studio slouží jako komplexní sada nástrojů poskytující otevřené SDK. Zajišťuje nízkoúrovňovou infrastrukturu, aby vývojáři nemuseli:

Ovladače a nástroje: sběr dat uzlů, kalibrace dat, fúze a křížová kompilace.
Otevřené algoritmy: zahrnují lokalizaci, SLAM, 3D Gaussovské rozptylování, detekci/rozpoznávání objektů, sémantickou segmentaci a fúzi bodových mračen/vidění.

Díky poskytnutí těchto základních algoritmů „z krabice“ mohou vývojáři přeskočit kódování základní infrastruktury a okamžitě se soustředit na vývoj aplikací založených na konkrétních scénářích. RoboSense se zavázal k neustálému vylepšování SDK a uvolňování bezplatných tréninkových datových sad, aby podpořil další inovace.

Budoucí využití: Prostorová inteligence

AC1 představuje novou kategorii senzorů poskytující univerzální datový vzor pro prostorovou inteligenci.

Sloučená data o hloubce, barvě a poloze jsou využitelná daleko za hranicemi humanoidních robotů a dronů. AC1 je vhodná pro vytváření digitálních dvojčat (3D skenování a modelování), sledování životního prostředí, autonomní řízení a průmyslovou automatizaci.

V současnosti RoboSense provozuje program náboru vývojářů. Mezi prvními partnery jsou singapurská laboratoř ARC, Huazhongská univerzita vědy a techniky a Pekingský technologický institut. Prostřednictvím tohoto přístupu „otevřeného hardwaru a otevřeného zdrojového základního modelu“ chce RoboSense urychlit éru spolupráce lidí a robotů.

Zdrojové materiály pro vývojáře: