實時訓(xùn)練駕駛?cè)斯ぶ悄?/h1>
自動駕駛是物理 AI 領(lǐng)域難度最高的問題之一。自動駕駛系統(tǒng)必須實時解讀混亂、動態(tài)變化的環(huán)境，應(yīng)對不確定性、預(yù)測人類行為，并在海量場景與極端工況下安全運行。
在通用汽車，我們的出發(fā)點很簡單：道路上絕大多數(shù)場景都是可預(yù)測的，但罕見、模糊、突發(fā)的長尾事件，才最終決定一套自動駕駛系統(tǒng)是否足夠安全、可靠，能否大規(guī)模落地。
隨著通用汽車向 “放手式高速自動駕駛” 乃至最終完全自動駕駛邁進(jìn)，解決長尾問題成為核心工程挑戰(zhàn)。這要求系統(tǒng)在最意外的狀況下依然能做出合理決策。
為此，通用汽車正在打造可擴(kuò)展的駕駛 AI—— 結(jié)合大規(guī)模仿真、強(qiáng)化學(xué)習(xí)、基于基礎(chǔ)模型的推理能力，以現(xiàn)實世界無法企及的規(guī)模與速度訓(xùn)練自動駕駛系統(tǒng)。
對長尾場景進(jìn)行壓力測試
自動駕駛的長尾場景主要分為幾類：
極端罕見事件：路上出現(xiàn)床墊、消防栓爆裂、全城停電導(dǎo)致紅綠燈失效等。這類系統(tǒng)性突發(fā)狀況在密集城區(qū)尤其容易連鎖放大。
需要人類常識與禮儀的日常場景：在擁擠停車場排隊等位、在施工區(qū)根據(jù)工人手勢和臨時標(biāo)識通行等。對人類而言輕而易舉，對機(jī)器卻需要精巧的工程設(shè)計才能完美處理。
部署視覺 - 語言 - 動作（VLA）模型
為應(yīng)對這些精細(xì)場景，通用汽車開發(fā)了視覺 - 語言 - 動作模型（VLA）。在通用視覺語言模型基礎(chǔ)上，工程師通過專用解碼頭針對駕駛?cè)蝿?wù)微調(diào)，讓模型在常規(guī)圖像識別之外，還能理解車輛軌跡、檢測 3D 目標(biāo)。
經(jīng)過微調(diào)的模型可以識別交警手勢優(yōu)先于紅燈，也能理解機(jī)場 “裝卸區(qū)” 的含義，還能生成推理軌跡，幫助工程師理解車輛行為，便于調(diào)試、驗證與建立信任。
為避免高延遲影響實時控制，GM 設(shè)計了雙頻 VLA 架構(gòu)：
大模型以低頻運行，負(fù)責(zé)高層語義判斷（路上物體是樹枝還是水泥塊）；
小型高效模型負(fù)責(zé)高頻實時控制（轉(zhuǎn)向、剎車）。
這種混合方案在保留深度推理能力的同時，不犧牲安全駕駛所需的瞬時反應(yīng)。
在高保真仿真中測試危險場景
安全處理極端工況，不僅需要 “看懂”，更需要 “會處理”，而這離不開大量經(jīng)驗。
因此，我們每天運行數(shù)百萬次高保真閉環(huán)仿真，相當(dāng)于數(shù)萬年人類駕駛時長，壓縮在數(shù)小時內(nèi)完成。我們可以復(fù)現(xiàn)真實事件、修改真實數(shù)據(jù)生成虛擬場景，或從零構(gòu)建全新場景，安全測試現(xiàn)實中幾乎無法遇到的危險狀況。
為最難工況生成合成數(shù)據(jù)
這些仿真場景從何而來？通用汽車使用多種 AI 技術(shù)生成貼近現(xiàn)實的極端訓(xùn)練數(shù)據(jù)。
例如 “種子到種子轉(zhuǎn)換” 技術(shù)，利用擴(kuò)散模型將晴天錄像轉(zhuǎn)換為雨天、霧天或夜景，同時完美保留場景幾何結(jié)構(gòu)。此外，基于擴(kuò)散模型的 GM World 模擬器可通過自然語言和 bounding box 生成全新交通場景，添加天氣、車輛加塞等挑戰(zhàn)元素。
高保真仿真并非適合所有訓(xùn)練。訓(xùn)練感知需要照片級渲染，但訓(xùn)練決策與規(guī)劃時，空間關(guān)系與交通動態(tài)比水坑、坑洼等細(xì)節(jié)更重要。強(qiáng)化學(xué)習(xí)往往需要數(shù)十億至上千億次輕量試錯。
為此，通用開發(fā)了專屬多智能體強(qiáng)化學(xué)習(xí)模擬器 GM Gym，并在名為 Boxworld 的抽象環(huán)境中運行：
只保留位置、速度、交通規(guī)則等核心要素；
運行速度比現(xiàn)實快 50,000 倍；
每 GPU 秒可模擬 1000 公里 駕駛。
這套系統(tǒng)讓 AI 不只模仿人類，更能學(xué)到可量化的安全、高效駕駛策略。
從抽象策略遷移到現(xiàn)實駕駛
Boxworld 畢竟不是真實道路。為把抽象駕駛經(jīng)驗遷移到現(xiàn)實，GM 采用策略蒸餾技術(shù)：
同時運行高速抽象仿真與高保真?zhèn)鞲衅鞣抡?，讓在仿真中練出完美策略的模型?dāng) “老師”，指導(dǎo)實車模型。僅 30 分鐘蒸餾，就能等效 12 小時強(qiáng)化學(xué)習(xí)，讓實車模型快速繼承仿真中打磨出的安全本能。
在故障發(fā)生前主動設(shè)計故障
仿真不只是訓(xùn)練 “開好車”，更是刻意讓系統(tǒng)失敗。
GM 使用名為 SHIFT32 的可微 pipeline，主動修改物體形狀、姿態(tài)，制造 “對抗樣本” 迷惑感知系統(tǒng)。在這些困難樣本上迭代訓(xùn)練，已被證實能將接近碰撞事故減少30% 以上，提前填補(bǔ)安全漏洞。
即便如此，穩(wěn)健的系統(tǒng)必須自知其限。GM 在模型中加入認(rèn)知不確定性頭，讓 AI 區(qū)分普通噪聲與真正無法理解的場景。遇到真正的長尾事件時，模型會標(biāo)記高不確定性，自動篩選高價值樣本供工程師分析并加入訓(xùn)練集。
規(guī)?；鉀Q長尾問題
解決自動駕駛長尾問題，不靠單一模型或技術(shù)，而靠一套生態(tài)系統(tǒng)：
高保真仿真 + 抽象高速學(xué)習(xí)環(huán)境
強(qiáng)化學(xué)習(xí) + 模仿學(xué)習(xí)
語義推理 + 瞬時控制
這套方案不只提升平均場景表現(xiàn)，更專注挖掘那些決定自動駕駛能否真正無人監(jiān)管運行的罕見、模糊、困難場景。
仍有許多開放研究問題：
如何平衡無限仿真數(shù)據(jù)與有限但更豐富的真實駕駛數(shù)據(jù)？
獎勵函數(shù)能讓駕駛策略多接近人類水平？
生成式世界模型能在多大程度上創(chuàng)造有意義的安全關(guān)鍵極端案例？
回答這些問題，是自動駕駛未來的核心。通用汽車正在打造所需的工具、基礎(chǔ)設(shè)施與研究文化，不是小規(guī)模試驗，而是面向真實車輛、真實用戶、真實道路的規(guī)模化落地。
加入技術(shù)交流群
自動駕駛是物理 AI 領(lǐng)域難度最高的問題之一。自動駕駛系統(tǒng)必須實時解讀混亂、動態(tài)變化的環(huán)境，應(yīng)對不確定性、預(yù)測人類行為，并在海量場景與極端工況下安全運行。
在通用汽車，我們的出發(fā)點很簡單：道路上絕大多數(shù)場景都是可預(yù)測的，但罕見、模糊、突發(fā)的長尾事件，才最終決定一套自動駕駛系統(tǒng)是否足夠安全、可靠，能否大規(guī)模落地。
隨著通用汽車向 “放手式高速自動駕駛” 乃至最終完全自動駕駛邁進(jìn)，解決長尾問題成為核心工程挑戰(zhàn)。這要求系統(tǒng)在最意外的狀況下依然能做出合理決策。
為此，通用汽車正在打造可擴(kuò)展的駕駛 AI—— 結(jié)合大規(guī)模仿真、強(qiáng)化學(xué)習(xí)、基于基礎(chǔ)模型的推理能力，以現(xiàn)實世界無法企及的規(guī)模與速度訓(xùn)練自動駕駛系統(tǒng)。
對長尾場景進(jìn)行壓力測試
自動駕駛的長尾場景主要分為幾類：
極端罕見事件：路上出現(xiàn)床墊、消防栓爆裂、全城停電導(dǎo)致紅綠燈失效等。這類系統(tǒng)性突發(fā)狀況在密集城區(qū)尤其容易連鎖放大。
需要人類常識與禮儀的日常場景：在擁擠停車場排隊等位、在施工區(qū)根據(jù)工人手勢和臨時標(biāo)識通行等。對人類而言輕而易舉，對機(jī)器卻需要精巧的工程設(shè)計才能完美處理。
部署視覺 - 語言 - 動作（VLA）模型
為應(yīng)對這些精細(xì)場景，通用汽車開發(fā)了視覺 - 語言 - 動作模型（VLA）。在通用視覺語言模型基礎(chǔ)上，工程師通過專用解碼頭針對駕駛?cè)蝿?wù)微調(diào)，讓模型在常規(guī)圖像識別之外，還能理解車輛軌跡、檢測 3D 目標(biāo)。
經(jīng)過微調(diào)的模型可以識別交警手勢優(yōu)先于紅燈，也能理解機(jī)場 “裝卸區(qū)” 的含義，還能生成推理軌跡，幫助工程師理解車輛行為，便于調(diào)試、驗證與建立信任。
為避免高延遲影響實時控制，GM 設(shè)計了雙頻 VLA 架構(gòu)：
大模型以低頻運行，負(fù)責(zé)高層語義判斷（路上物體是樹枝還是水泥塊）；
小型高效模型負(fù)責(zé)高頻實時控制（轉(zhuǎn)向、剎車）。
這種混合方案在保留深度推理能力的同時，不犧牲安全駕駛所需的瞬時反應(yīng)。
在高保真仿真中測試危險場景
安全處理極端工況，不僅需要 “看懂”，更需要 “會處理”，而這離不開大量經(jīng)驗。
因此，我們每天運行數(shù)百萬次高保真閉環(huán)仿真，相當(dāng)于數(shù)萬年人類駕駛時長，壓縮在數(shù)小時內(nèi)完成。我們可以復(fù)現(xiàn)真實事件、修改真實數(shù)據(jù)生成虛擬場景，或從零構(gòu)建全新場景，安全測試現(xiàn)實中幾乎無法遇到的危險狀況。
為最難工況生成合成數(shù)據(jù)
這些仿真場景從何而來？通用汽車使用多種 AI 技術(shù)生成貼近現(xiàn)實的極端訓(xùn)練數(shù)據(jù)。
例如 “種子到種子轉(zhuǎn)換” 技術(shù)，利用擴(kuò)散模型將晴天錄像轉(zhuǎn)換為雨天、霧天或夜景，同時完美保留場景幾何結(jié)構(gòu)。此外，基于擴(kuò)散模型的 GM World 模擬器可通過自然語言和 bounding box 生成全新交通場景，添加天氣、車輛加塞等挑戰(zhàn)元素。
高保真仿真并非適合所有訓(xùn)練。訓(xùn)練感知需要照片級渲染，但訓(xùn)練決策與規(guī)劃時，空間關(guān)系與交通動態(tài)比水坑、坑洼等細(xì)節(jié)更重要。強(qiáng)化學(xué)習(xí)往往需要數(shù)十億至上千億次輕量試錯。
為此，通用開發(fā)了專屬多智能體強(qiáng)化學(xué)習(xí)模擬器 GM Gym，并在名為 Boxworld 的抽象環(huán)境中運行：
只保留位置、速度、交通規(guī)則等核心要素；
運行速度比現(xiàn)實快 50,000 倍；
每 GPU 秒可模擬 1000 公里 駕駛。
這套系統(tǒng)讓 AI 不只模仿人類，更能學(xué)到可量化的安全、高效駕駛策略。
從抽象策略遷移到現(xiàn)實駕駛
Boxworld 畢竟不是真實道路。為把抽象駕駛經(jīng)驗遷移到現(xiàn)實，GM 采用策略蒸餾技術(shù)：
同時運行高速抽象仿真與高保真?zhèn)鞲衅鞣抡?，讓在仿真中練出完美策略的模型?dāng) “老師”，指導(dǎo)實車模型。僅 30 分鐘蒸餾，就能等效 12 小時強(qiáng)化學(xué)習(xí)，讓實車模型快速繼承仿真中打磨出的安全本能。
在故障發(fā)生前主動設(shè)計故障
仿真不只是訓(xùn)練 “開好車”，更是刻意讓系統(tǒng)失敗。
GM 使用名為 SHIFT32 的可微 pipeline，主動修改物體形狀、姿態(tài)，制造 “對抗樣本” 迷惑感知系統(tǒng)。在這些困難樣本上迭代訓(xùn)練，已被證實能將接近碰撞事故減少30% 以上，提前填補(bǔ)安全漏洞。
即便如此，穩(wěn)健的系統(tǒng)必須自知其限。GM 在模型中加入認(rèn)知不確定性頭，讓 AI 區(qū)分普通噪聲與真正無法理解的場景。遇到真正的長尾事件時，模型會標(biāo)記高不確定性，自動篩選高價值樣本供工程師分析并加入訓(xùn)練集。
規(guī)?；鉀Q長尾問題
解決自動駕駛長尾問題，不靠單一模型或技術(shù)，而靠一套生態(tài)系統(tǒng)：
高保真仿真 + 抽象高速學(xué)習(xí)環(huán)境
強(qiáng)化學(xué)習(xí) + 模仿學(xué)習(xí)
語義推理 + 瞬時控制
這套方案不只提升平均場景表現(xiàn)，更專注挖掘那些決定自動駕駛能否真正無人監(jiān)管運行的罕見、模糊、困難場景。
仍有許多開放研究問題：
如何平衡無限仿真數(shù)據(jù)與有限但更豐富的真實駕駛數(shù)據(jù)？
獎勵函數(shù)能讓駕駛策略多接近人類水平？
生成式世界模型能在多大程度上創(chuàng)造有意義的安全關(guān)鍵極端案例？
回答這些問題，是自動駕駛未來的核心。通用汽車正在打造所需的工具、基礎(chǔ)設(shè)施與研究文化，不是小規(guī)模試驗，而是面向真實車輛、真實用戶、真實道路的規(guī)模化落地。
評論