10 月 25 日，特斯拉 AI 軟件副總裁阿肖克·埃盧斯瓦米在 X 上發(fā)布長文，揭秘 FSD 端到端方法論，引發(fā)廣泛關(guān)注。

特斯拉采用端到端神經(jīng)網(wǎng)絡(luò)實現(xiàn)自動駕駛，此網(wǎng)絡(luò)接收多攝像頭像素、車輛運動學(xué)信號、音頻、地圖及導(dǎo)航信息，直接輸出駕駛指令。與傳統(tǒng)模塊化方法相比，優(yōu)勢明顯。傳統(tǒng)方法將感知、預(yù)測、規(guī)劃拆分，接口復(fù)雜且難優(yōu)化；端到端模型一步到位，能整體優(yōu)化。比如面對“是碾過水坑還是借道逆行”的情況，經(jīng)大量數(shù)據(jù)訓(xùn)練的 AI 能做出更合理決策。

不過，構(gòu)建端到端架構(gòu)面臨諸多挑戰(zhàn)。首先是數(shù)據(jù)處理，F(xiàn)SD 每秒要處理來自攝像頭、地圖、音頻等約 20 億個輸入信息，最終壓縮成轉(zhuǎn)向和加速 2 個指令。特斯拉憑借龐大車隊，每日產(chǎn)生相當(dāng)于 500 年駕駛時長的里程數(shù)據(jù)，經(jīng)篩選提取有價值樣本，讓 AI 學(xué)習(xí)極端案例，如雨天路滑時提前 5 秒減速。

可解釋性與安全保證也是問題。調(diào)試端到端系統(tǒng)困難，為此特斯拉開發(fā)多項技術(shù)。生成式高斯濺射技術(shù)，運行時間約 220 毫秒，能生成高質(zhì)量 3D 幾何結(jié)構(gòu)，輔助理解 AI 決策依據(jù)；小型版本的推理模型在 FSD v14.x 版本運行，結(jié)合視頻溯源，可用自然語言推理。

評估同樣是挑戰(zhàn)。特斯拉開發(fā)神經(jīng)世界模擬器，基于海量真實數(shù)據(jù)訓(xùn)練，能實時生成含 8 個攝像頭畫面的虛擬駕駛環(huán)境，可復(fù)現(xiàn)歷史事故、創(chuàng)造極端測試條件，對 FSD 進行壓力測試，還能調(diào)整計算資源實現(xiàn)每秒 24 幀高分辨率傳感器數(shù)據(jù)合成。

值得一提的是，特斯拉的這些技術(shù)不僅用于自動駕駛，還能遷移到人形機器人擎天柱上。這一創(chuàng)新是否引領(lǐng)自動駕駛潮流，又將如何影響未來，令人期待。