正如開爾文勛爵所說，記住或被提醒“如果你無法衡量它，你就無法改進它”，總是有益的。這對當(dāng)今最新的設(shè)計方法，如傳感器融合，尤為適用。對于安全關(guān)鍵且高度監(jiān)管的情況，如先進駕駛輔助系統(tǒng)（ADAS）和自動駕駛（AD），關(guān)鍵績效指標(biāo)（KPI）已成為優(yōu)化傳感器能力和滿足監(jiān)管標(biāo)準(zhǔn)的重要基準(zhǔn)。設(shè)計方法涉及仿真、再仿真和合成數(shù)據(jù)，以為這些系統(tǒng)提供準(zhǔn)確的決策。

傳感器融合的關(guān)鍵績效指標(biāo)

KPI有助于確定針對特定ADAS功能的合適傳感器選擇，確保每個傳感器符合系統(tǒng)設(shè)計標(biāo)準(zhǔn)。確定要衡量的關(guān)鍵績效指標(biāo)是設(shè)計改進的第一步。對于傳感器融合，除了傳感器本身的常規(guī)KPI如分辨率、距離和可靠性外，系統(tǒng)相關(guān)的KPI還包括精度、召回、實時處理等。事實上，其他較低級別的性能指標(biāo)——如功能和功能KPI評估的是具體子系統(tǒng)和單個功能。相比之下，系統(tǒng)KPI衡量的是整個ADAS或AD系統(tǒng)在實現(xiàn)設(shè)計目標(biāo)方面的表現(xiàn)。

評估聚變系統(tǒng)的工具和框架

許多機器學(xué)習(xí)環(huán)境，包括傳感器融合評估，都是從地面真實數(shù)據(jù)（準(zhǔn)確且經(jīng)過驗證的數(shù)據(jù)，作為比較基準(zhǔn)）或模擬地面真實數(shù)據(jù)開始。

一種常用的傳感器KPI計算方法是記錄數(shù)千小時的路考數(shù)據(jù)，分析后繪制物體周圍的邊界框，估算距離和速度，從而建立傳感器性能測量的實質(zhì)數(shù)據(jù)。

圖1。通過圖像的打包來確定真實情況。（圖片來源：Autoware Universe)

有一家公司開發(fā)了一個平臺，通過融合激光雷達、攝像頭及其他傳感器數(shù)據(jù)，自動計算合成地面真實數(shù)據(jù)，并自動計算感知系統(tǒng)的KPI。檢測真陽性和假陽性以及真陰性和假陰性，關(guān)鍵績效指標(biāo)匯總成一份全面的報告。故障會在時間線顯示中顯示，方便通過額外的設(shè)計工具進行詳細(xì)檢查。

其他用于評估傳感器融合系統(tǒng)的工具包括CARLA（汽車學(xué)習(xí)行動），一款為自動駕駛研發(fā)設(shè)計的開源模擬器，以及Gazebo。

模擬環(huán)境用于性能基準(zhǔn)測試

CARLA 由巴塞羅那自治大學(xué)計算機視覺中心（CVC）開發(fā)，為用戶提供逼真的城市環(huán)境、傳感器仿真能力和易于集成的體驗。

一組研究人員開發(fā)了一個基準(zhǔn)測試腳本，使用戶能夠輕松分析CARLA在其環(huán)境中的性能。在配置以運行不同/具體場景后，腳本會根據(jù)要求標(biāo)準(zhǔn)報告幀率的平均和標(biāo)準(zhǔn)差。

另一種方法是Gazebo，這是由開源機器人基金會為機器人開發(fā)者和設(shè)計師提供的開源軟件庫集合。Gazebo-classic，特別是Gazebo 9和Gazebo 11，發(fā)布名為/gazebo/performance_metrics/的消息，允許設(shè)計師檢查系統(tǒng)中每個傳感器的性能。

評估中處理邊緣情況和傳感器故障模式

為了徹底驗證，設(shè)計過程中必須考慮極端情況或在罕見且難以預(yù)測的情景下發(fā)生的情況，如突然變道或極端天氣。一家公司收集并整合了邊緣案例，供設(shè)計師測試其自動駕駛系統(tǒng)。這些數(shù)據(jù)包括致命事故報告、非致命事故報告，以及數(shù)百萬個汽車與其他道路使用者之間緊密、復(fù)雜的真實互動實例。

為了解決CARLA中的傳感器故障，一所大學(xué)的研究人員開發(fā)了CARLA機器人作系統(tǒng)（ROS）橋接器（一種中間件接口），以促進CARLA仿真環(huán)境的集成。CARLA ROS 橋接核心功能包括一個模塊化且可擴展的傳感器故障注入框架，核心是一個名為 FaultInjector 的基類。類圖如圖2所示。

圖2。故障注入器類別圖。（圖片來源：科英布拉理工大學(xué))

該框架用 Python 實現(xiàn)并集成到 CARLA ROS 橋接器中，基于 ROS 2（謙遜版本），并兼容 Autoware Universe 存儲 AD 技術(shù)核心功能的倉庫。每種傳感器類型的故障（如LiDAR、IMU和GNSS（全球?qū)Ш叫l(wèi)星系統(tǒng)））由專用子類處理，如LidarFaultInjector、IMUFaultInjector和GNSSFaultInjector，并貢獻FaultInjector基礎(chǔ)類。

最后，為認(rèn)證其實現(xiàn)SAE J3016三級自動駕駛車輛資格的能力，梅賽德斯-奔馳股份公司采用了Ansys optiSLang中的可靠性分析方法。該分析使他們能夠確定多種交通場景的故障概率，包括極少數(shù)故障概率極低的事件（10^-9）。