作者 | 黎   瀾

編輯 | 章漣漪

半年時(shí)間，英偉達(dá)汽車業(yè)務(wù)無論是商業(yè)化進(jìn)程，還是技術(shù)成熟度，都有了不小進(jìn)步，這是如何實(shí)現(xiàn)的？

近日，GTC 2024大會(huì)上，英偉達(dá)汽車事業(yè)部副總裁吳新宙發(fā)表了《加速向 AI 定義的汽車的轉(zhuǎn)變》主題演講，用時(shí)52分鐘，從技術(shù)角度給予了解答。

這也是吳新宙入職英偉達(dá)后的首次正式對(duì)外演講。

作為自動(dòng)駕駛領(lǐng)域大拿，吳新宙曾在高通工作10余年，主導(dǎo)自動(dòng)駕駛解決方案。2019年，在何小鵬的盛情邀請(qǐng)下，吳新宙加盟小鵬汽車，全面主導(dǎo)小鵬汽車的ADAS業(yè)務(wù)，主導(dǎo)實(shí)現(xiàn)了NGP、XNGP等項(xiàng)目落地。

同時(shí)擁有競爭對(duì)手高通，以及自身工程化最好樣本小鵬汽車的高管背景，吳新宙可以說是最適合英偉達(dá)的人。

確實(shí)，正如黃仁勛所期待的，在吳新宙加盟后，英偉達(dá)汽車業(yè)務(wù)肉眼可見的更有起色。一方面，團(tuán)隊(duì)規(guī)模不斷擴(kuò)大，特別是自動(dòng)駕駛中國團(tuán)隊(duì)不斷擴(kuò)充；另一方面，技術(shù)不斷取得突破，截止目前，其已經(jīng)幫助英偉達(dá)搭建了自動(dòng)駕駛?cè)珬Ｗ匝胁块T，并且團(tuán)隊(duì)實(shí)現(xiàn)將AV1.0（AI Vehicle）升級(jí)至AV2.0。

此次大會(huì)上，吳新宙對(duì)外分享了入職英偉達(dá)220多天以來的故事，講述了英偉達(dá)如何以更少的代碼、更大規(guī)模的模型、更高的算力和更多的數(shù)據(jù)，實(shí)現(xiàn)以AI為中心的自動(dòng)駕駛汽車 2.0時(shí)代到來。

以下是吳新宙演講的主要內(nèi)容。

01AV2.0的核心技術(shù)優(yōu)勢(shì)，在于“雷神”

吳新宙表示，首先，自動(dòng)駕駛?cè)匀皇怯猩虡I(yè)前景的。

在新能源滲透率穩(wěn)步提升的大前提下，根據(jù)其預(yù)測(cè)，2030財(cái)年L3級(jí)別自動(dòng)駕駛市場(chǎng)仍將呈現(xiàn)顯著上升趨勢(shì)。

同時(shí)，隨著生成式AI的發(fā)展，車載AI也有了長足的發(fā)展，經(jīng)歷了從規(guī)則、算法驅(qū)動(dòng)型軟件棧，到AI增強(qiáng)型軟件棧再到端到端AI軟件棧的過程。

而英偉達(dá)AV2.0的核心技術(shù)優(yōu)勢(shì)，在于擁有Drive Thor（雷神）芯片。在智能駕駛方面，Thor發(fā)揮的長處是“低精度運(yùn)算”，這意味著可以輸入模糊的、多模態(tài)的、不確定的數(shù)據(jù)，通過AI自動(dòng)生成能力還原出有邏輯的遠(yuǎn)算方式。

相比于前代的Orin平臺(tái)，Thor在LLAMA-7B的測(cè)試環(huán)境中能夠?qū)崿F(xiàn)高達(dá)9倍的性能提升。另外，除了黃仁勛高調(diào)官宣的Blackwell GPU提供卓越性能以外，處理器中的ARM Neoverse V3AE CPU也提供了強(qiáng)大的單線程性能，這對(duì)復(fù)雜場(chǎng)景進(jìn)行快速?zèng)Q策尤為關(guān)鍵。在SPECrate®2017_int_base的基準(zhǔn)測(cè)試中，Thor比Orin預(yù)計(jì)有2.3倍的性能提升。

相較于上一代Xaiver，Orin實(shí)現(xiàn)了七倍的算力提升，達(dá)到245TFLOPS ，而Thor則達(dá)到了驚人的2000 TSFLOPS浮點(diǎn)算力。

或許，Orin沒有能夠真正實(shí)現(xiàn)L5級(jí)別的Robotaxi，Thor能夠完成。

硬件的提升必然需要軟件配套設(shè)施一同進(jìn)步。目前，吳新宙團(tuán)隊(duì)研發(fā)的AV2.0還可以解決上一代搭載Orin芯片的AV1.0存在的痛點(diǎn)。

原有的AV1.0需要大量數(shù)據(jù)訓(xùn)練，新一代車載軟件利用仿真技術(shù)模擬各種駕駛場(chǎng)景，降低對(duì)真實(shí)數(shù)據(jù)的依賴。

根據(jù)吳新宙介紹，傳統(tǒng)的自動(dòng)駕駛系統(tǒng)只具備幾秒鐘的短期系統(tǒng)記憶，這讓AV1.0的決策可能是缺乏連貫性的。AV2.0利用大語言模型（LLM）邏輯推理的能力，增強(qiáng)了系統(tǒng)決策的連貫性和上下文感知能力。

“英偉達(dá)自動(dòng)駕駛團(tuán)隊(duì)目前還在致力于讓AV系統(tǒng)更具‘可解釋性’，那就是讓自動(dòng)駕駛不再‘黑箱’，開發(fā)出一套降低信息差，方便對(duì)外解釋的算法。”在吳新宙看來，這對(duì)于消除大眾對(duì)自動(dòng)駕駛的疑慮至關(guān)重要。

02AV2.0技術(shù)的底層技術(shù)創(chuàng)新

活動(dòng)上，吳新宙還展示了AV2.0技術(shù)的底層技術(shù)創(chuàng)新：基于VLM的基礎(chǔ)模型（VLM Based Foundation Model，視覺語言模型），由此形成的PARA-Driving，搭建實(shí)時(shí)自動(dòng)駕駛的并行化架構(gòu)。

目前，端到端自動(dòng)駕駛有兩種技術(shù)路線。

一種是UniAD（Unified Autonomous Driving，自動(dòng)駕駛通用算法框架），這個(gè)方案強(qiáng)調(diào)同時(shí)操控多個(gè)模態(tài)，使傳感器搜集到的數(shù)據(jù)在訓(xùn)練過程中朝著“整體最優(yōu)”的方向進(jìn)行。

另一種則是更直接的VLM，實(shí)現(xiàn)過程和人類駕駛行為相似：以眼睛作為視覺輸入信號(hào)，直接作用在方向盤和剎車油門踏板上。這種直接端到端變相地?cái)U(kuò)大了模型的搜索空間，需要用更多的數(shù)據(jù)、更大的模型、更強(qiáng)的算力才能防止在特定場(chǎng)景的過擬合，在駕駛體驗(yàn)中，多半是“莫名其妙的剎車”。

為了降低干擾，吳新宙團(tuán)隊(duì)對(duì)第二種方案進(jìn)行了優(yōu)化，將Transformer融合進(jìn)自動(dòng)駕駛的基礎(chǔ)模型，形成PARA-Driving的終極答案。下圖是此模型的功能布局。

吳新宙表示，PARA-drive將信息變成Tokens，再放進(jìn)Transformer模型里分析，化整為零，處理起來更輕松。

據(jù)演示，相比于UniAD6 FPS的夜間運(yùn)行速度，PARA-drive在夜間駕駛的實(shí)際應(yīng)用場(chǎng)景中達(dá)到了26 FPS的高幀率，也就是說，夜視效果能達(dá)到UniAD的四倍。

當(dāng)然，這并不意味著要全盤替換原有的系統(tǒng)軟件棧。吳新宙指出，現(xiàn)在的技術(shù)還不足以讓VLM為主的基礎(chǔ)模型全量進(jìn)入使用，初始階段將處于"影子模式"（shadow mode），團(tuán)隊(duì)會(huì)通過與人類駕駛行為進(jìn)行不斷比較而微調(diào)。

隨著時(shí)間的推移，現(xiàn)有的技術(shù)棧將逐漸被淘汰，但出于安全考慮，兩種�？赡苄枰�共存一段時(shí)間。

信息搜集處理步驟告一段落，接下來吳新宙開始介紹AV方案中能提供物理模擬引擎的部分。當(dāng)然，這也是英偉達(dá)以游戲顯卡起家的老本行了。仿真模擬（Simulation）的關(guān)鍵作用毋庸置疑，這是取代實(shí)車測(cè)試所需的巨大成本的關(guān)鍵一步。

良好模擬的關(guān)鍵屬性包括像素保真度（適用于相機(jī)、雷達(dá)、超聲波、激光雷達(dá)等），場(chǎng)景保真度和可擴(kuò)展性，以及行為保真度。無傳感器操作允許在計(jì)算上更具可擴(kuò)展性。英偉達(dá)的AV仿真模擬可以在有或沒有傳感器信息的情況下操作，極大地降低了成本。AV模型模擬的工作流，讓端到端模型與場(chǎng)景庫和功能模塊環(huán)環(huán)相扣。

總體而言，吳新宙團(tuán)隊(duì)開發(fā)的基礎(chǔ)模型的功能如下。

通過云端和車端統(tǒng)一的基礎(chǔ)模型，有三個(gè)實(shí)現(xiàn)場(chǎng)景，首先最直觀的是車內(nèi)助手（In-cabin Assistant），使用基礎(chǔ)模型來提供車內(nèi)助手服務(wù)，可能包括語音識(shí)別、自然語言處理和用戶交互等功能。

自動(dòng)標(biāo)注（Auto-labeling），利用基礎(chǔ)模型來自動(dòng)標(biāo)記訓(xùn)練數(shù)據(jù)，對(duì)于大量的自動(dòng)駕駛數(shù)據(jù)來說，可以極大程度地降低成本、提高效率。

最后是安全評(píng)估（Safety Evaluation），確保自動(dòng)駕駛系統(tǒng)的性能和決策符合安全標(biāo)準(zhǔn)。在自動(dòng)駕駛的安全問題需要得到確認(rèn)的共識(shí)下，吳新宙闡述了NVIDIA DRIVE安全平臺(tái)在保障自動(dòng)駕駛汽車的安全方面的全面舉措。

03全球首個(gè)端到端AI安全平臺(tái)

安全性，幾乎是全球自動(dòng)駕駛從業(yè)者的共識(shí)。英偉達(dá)自動(dòng)駕駛DRIVE平臺(tái)是全球汽車生產(chǎn)領(lǐng)域首個(gè)也是唯一一個(gè)端到端的智能安全平臺(tái)。

目前，英偉達(dá)Drive平臺(tái)有四大支柱，分別是開發(fā)過程、硬件、軟件建設(shè)和底層架構(gòu)。

英偉達(dá)在人力部署層面足見對(duì)安全的重視。據(jù)吳新宙介紹，有15000名工程師投入到安全部門的研發(fā)工作。

硬件安全機(jī)制經(jīng)過21億個(gè)晶體管的安全評(píng)估，吳新宙也提到了硬件退化效應(yīng)的檢測(cè)和ASIL D（Automotive Safety Integrity Level）系統(tǒng)性。

軟件與架構(gòu)是一個(gè)全棧功能安全的體系結(jié)構(gòu)，共計(jì)500萬行代碼經(jīng)過安全評(píng)估，還有德國技術(shù)監(jiān)督協(xié)會(huì)認(rèn)證的DRIVE OS和安全傳感器以及端到端的認(rèn)證。

底層架構(gòu)層面，Drive平臺(tái)提供安全保障的云服務(wù)和工具每日會(huì)進(jìn)行200萬次端到端集成測(cè)試，確保了安全的開發(fā)和測(cè)試以及大規(guī)模的項(xiàng)目周期管理。

04授人以魚，不如授人以漁

另外，英偉達(dá)還專門召開了中文的專家技術(shù)解讀論壇，解釋了吳新宙發(fā)言的核心技術(shù)亮點(diǎn)、應(yīng)用場(chǎng)景，以及自動(dòng)駕駛方案的商業(yè)落地。

汽車數(shù)據(jù)中心業(yè)務(wù)總監(jiān)陳曄還做了Q&A，針對(duì)的問題是英偉達(dá)對(duì)國內(nèi)廠商的服務(wù)方式。

陳曄提到，基于中美自動(dòng)駕駛應(yīng)用場(chǎng)景的差異化，在美國本土英偉達(dá)往往給車企做的是NDAS封裝一站式服務(wù)，意味著直接給到完整的自動(dòng)駕駛解決方案；服務(wù)國內(nèi)的新能源廠商的時(shí)候，英偉達(dá)更傾向于提供一套更適配的算法，或者干脆成為算法開發(fā)過程中的指導(dǎo)者。

還有人對(duì)算力所需的硬件配置較為好奇。隨著對(duì)算力要求的提升，相應(yīng)的“卡”的數(shù)量也會(huì)有一定提升。陳曄表示，在AV1.0時(shí)代，領(lǐng)先的客戶需求大概是2000臺(tái)，在AV2.0時(shí)代，就產(chǎn)生了一萬臺(tái)GPU的需求，這種量級(jí)的變化對(duì)有些車企來說是難以承受的。當(dāng)然，這是以H100作為算力計(jì)算單位，當(dāng)Blackwell成為主流GPU的時(shí)候，企業(yè)所需的硬件成本會(huì)有所下降。

以及，陳曄表示，GPU 不僅可以用來自動(dòng)駕駛研發(fā)，還可以有其他的應(yīng)用場(chǎng)景，例如大語言模型、智能座艙等等，未來對(duì)“卡”的依賴，只增不減。

陳曄表示，英偉達(dá)會(huì)幫客戶去做很多加速工作，從數(shù)據(jù)處理到訓(xùn)練模型優(yōu)化到推理計(jì)算、以及到仿真，基于神經(jīng)網(wǎng)絡(luò)重建，由英偉達(dá)自動(dòng)駕駛最核心的技術(shù)團(tuán)隊(duì)來操盤。

這種個(gè)性化定制服務(wù)，即英偉達(dá)企業(yè)NVRE服務(wù)，服務(wù)方式是AI enterprise。這種個(gè)性化設(shè)計(jì)是基于車企信任英偉達(dá)的前提，即愿意分享數(shù)據(jù)的基礎(chǔ)之上的。

車企給英偉達(dá)場(chǎng)景數(shù)據(jù)，訓(xùn)練更好的大模型，英偉達(dá)再用優(yōu)化過的模型給車企自動(dòng)駕駛方案賦能，收集更多維度的數(shù)據(jù)，這正是所有人工智能相關(guān)的產(chǎn)品的終極目標(biāo)，打造數(shù)據(jù)飛輪，靠自身商業(yè)化落地即可精進(jìn)。

目前看來，吳新宙來到英偉達(dá)“深造”，實(shí)際上是更靠近了技術(shù)研發(fā)所需的算力“水源”，加上從0到1的小鵬智駕經(jīng)驗(yàn)，無論對(duì)于英偉達(dá)，還是對(duì)整個(gè)行業(yè)來說，都有1+1大于2的效果。

       原文標(biāo)題 : 吳新宙到英偉達(dá)后的首秀，說了些什么？