由意法半導體和Leopard Imaging開發(fā)的多模態(tài)視覺模塊將綜合感測能力整合到一個先進機器人平臺。該模塊集成了多種感知技術，并直接連接英偉達的機器人生態(tài)系統(tǒng)。

機器人感知的綜合傳感

此次發(fā)布的核心是一款多模態(tài)視覺模塊，將二維成像、三維深度感測和運動追蹤集成于一體中。該系統(tǒng)將ST的成像傳感器、慣性測量能力和飛行時間激光雷達與NVIDIA的全息掃描傳感器橋接整合，利用以太網連接實時向Jetson平臺流式多千兆傳感器數據。

該裝置設計符合典型的人形機器人尺寸、重量和功率限制，傳感器整合至關重要。通過將多個傳感功能整合到一個模塊中，開發(fā)者可以減少對離散組件的需求，簡化跨傳感領域的校準和同步。

意法半導體模擬動力微機系統(tǒng)與傳感器市場副總裁Marco Angelici表示：“類人機器人正超越研究項目和演示，為制造和汽車工廠、物流和倉儲，以及零售和客戶服務等多個崗位提供強大的新機器。”“我們與Leopard Imaging的合作，將市場領先的ST傳感器和執(zhí)行器無縫集成進NVIDIA機器人生態(tài)系統(tǒng)，加速具備類人感知的物理AI應用的部署。”

與NVIDIA機器人生態(tài)系統(tǒng)的契合

基于NVIDIA全息掃描傳感器橋構建的多模態(tài)視覺模塊也被NVIDIA Isaac機器人框架支持，該框架提供AI模型、仿真工具和開發(fā)庫。

這一整合有助于解決機器人開發(fā)中持續(xù)面臨的挑戰(zhàn)之一，彌合仿真與實際部署之間的鴻溝。據Leopard Imaging稱，標準化傳感器數據流水線的訪問可能幫助開發(fā)者簡化數據收集和培訓工作流程。

Leopard Imaging首席執(zhí)行官Bill Pu表示：“直接在生態(tài)系統(tǒng)內訪問ST傳感器和執(zhí)行器，使我們能夠標準化并簡化了HSB界面上人形機器人視覺的數據采集和記錄?！薄皺C器人制造者可以使用我們的多感應視覺模塊配合Isaac工具，加速學習，快速彌合'模擬與現(xiàn)實'的差距。”

模塊底層的傳感器技術

該模塊整合多項意法半導體傳感技術，包括：

• 510 萬像素 RGB-IR 圖像傳感器：支持卷簾快門與全局快門雙模式

• 6 軸慣性測量單元（IMU）：內置機器學習能力

• 直接飛行時間（dToF）激光雷達傳感器：可生成最高 2300 個區(qū)域的深度圖

激光雷達組件測距范圍達 9 米，具備寬視場角，幀率最高 100fps，適配需要實時感知的動態(tài)環(huán)境。