為了不斷給自動(dòng)駕駛汽車提供海量數(shù)據(jù)和極端場(chǎng)景以滿足安全測(cè)試的需要，仿真技術(shù)在近年來備受關(guān)注，眾多仿真平臺(tái)也應(yīng)運(yùn)而生。
在這種大背景下，英偉達(dá)將自己在圖形計(jì)算時(shí)代所積累的優(yōu)勢(shì)復(fù)制到自動(dòng)駕駛技術(shù)上，并且于 2019 年正式向客戶開放 DRIVE Constellation 自動(dòng)駕駛仿真模擬器。
那么，當(dāng)下無人駕駛在預(yù)期功能安全方面的進(jìn)展如何?英偉達(dá)在仿真驗(yàn)證方面有什么獨(dú)特的見解?
記者邀請(qǐng)了英偉達(dá)無人駕駛開發(fā)架構(gòu)師楊健來進(jìn)行業(yè)內(nèi)分享。以下為楊健的演講內(nèi)容，記者進(jìn)行了不改變?cè)獾恼恚?/p>
大家好!我是英偉達(dá)無人駕駛解決方案架構(gòu)師楊建，感謝新智駕提供的平臺(tái)，讓我們可以交流關(guān)于無人駕駛仿真方面的話題。
今天分享的主題為《英偉達(dá)仿真模擬方法論助力無人駕駛算法開發(fā)》，主要分為以下三個(gè)方面：
無人駕駛與預(yù)期功能安全;
英偉達(dá)仿真驗(yàn)證方法論;
解決問題需要的規(guī)模和計(jì)算量。
一、無人駕駛和預(yù)期功能安全
首先給大家解釋一下 verification(驗(yàn)證)和validation(確認(rèn))的區(qū)別。
Verification，主要是驗(yàn)證結(jié)果是否與預(yù)期設(shè)計(jì)相一致，即“把事情做對(duì)”;validation，則是結(jié)果在與預(yù)期設(shè)計(jì)相一致的同時(shí)，確認(rèn)預(yù)期設(shè)計(jì)是否有問題，是否能夠滿足客戶的其他需求，即“做對(duì)的事情”。
目前，工業(yè)界有兩種驗(yàn)證自動(dòng)駕駛車輛安全的方法論。
一種是大家比較熟悉的ISO26262功能安全(FuSa)，這種方法論旨在預(yù)防由汽車電子電氣系統(tǒng)產(chǎn)生故障導(dǎo)致的意外風(fēng)險(xiǎn)隱患。
另一種是 ISO21448 預(yù)期功能安全(SOTIF)，這種方法論旨在解決自動(dòng)駕駛系統(tǒng)本身由于算法或者傳感器(攝像頭、激光雷達(dá)等)本身缺陷導(dǎo)致致命傷害事故的問題。這也是今天分享的重點(diǎn)。
從開發(fā)流程上來說，無論是 FuSa 還是 SOTIF，都要經(jīng)歷從需求定義到軟硬件開發(fā)再到系統(tǒng)驗(yàn)證的過程，但相對(duì)來說，SOTIF 需要解決的問題難度更大。
就像長(zhǎng)尾理論一樣，容易造成事故的場(chǎng)景基本上出現(xiàn)在長(zhǎng)尾的尾部，因此，我們很難預(yù)測(cè)這些問題將會(huì)在什么時(shí)候發(fā)生，而 SOTIF 就旨在去發(fā)現(xiàn)這些罕見的場(chǎng)景。
也就是說，SOTIF 可以發(fā)揮指導(dǎo)性的意義，把這種潛在的風(fēng)險(xiǎn)進(jìn)行量化評(píng)估，從而評(píng)估車輛抵御風(fēng)險(xiǎn)的能力。
我們可以看一下這張圖：
推廣上海公益種植牙援助補(bǔ)貼，滿足條件均可申請(qǐng)，活動(dòng)僅限今日
我們將所有場(chǎng)景分為4個(gè)區(qū)域，包括已知的安全場(chǎng)景、已知的不安全場(chǎng)景、未知的不安全場(chǎng)景以及未知的安全場(chǎng)景。
前面兩個(gè)場(chǎng)景相對(duì)好理解，已知的不安全場(chǎng)景可以通過對(duì) ODD 進(jìn)行分析來解決相關(guān)的風(fēng)險(xiǎn)。由于最后一個(gè)場(chǎng)景的安全的場(chǎng)景，因此我們對(duì)它的關(guān)注度也不是很大。
最需要關(guān)注的是區(qū)域3，即未知的不安全場(chǎng)景，由于該場(chǎng)景中存在著巨大的風(fēng)險(xiǎn)，如果我們對(duì)其一直處于無法悉知的狀態(tài)，我們就無法評(píng)估其中的風(fēng)險(xiǎn)會(huì)對(duì)無人駕駛帶來多大的影響。
所以，在SOTIF 的開發(fā)流程中，針對(duì)已知的安全場(chǎng)景，我們可以通過概念定義階段來對(duì)這些場(chǎng)景進(jìn)行足夠多的分析;針對(duì)已知的不安全場(chǎng)景，我們?cè)隍?yàn)證階段會(huì)去構(gòu)建一些不安全的場(chǎng)景，然后對(duì)這些場(chǎng)景進(jìn)行驗(yàn)證，確保無人駕駛算法可以安全地解決這些問題;對(duì)于為安全的未知安全場(chǎng)景，我們需要一些輔助的手段來幫助我們發(fā)現(xiàn)場(chǎng)景，了解場(chǎng)景。
也就是說，我們的最終目標(biāo)就是把未知的不安全場(chǎng)景逐漸轉(zhuǎn)化成已知的不安全場(chǎng)景，甚至是轉(zhuǎn)化成已知的安全場(chǎng)景。
不過，從客觀上來講，未知的不安全場(chǎng)景肯定不會(huì)完全消失，但它最終會(huì)小到我們足以保證無人駕駛算法出現(xiàn)安全事故的概率會(huì)比真人駕駛要更小，也就是說，我們可以證明無人駕駛比真人駕駛要更安全。
二、英偉達(dá)的驗(yàn)證方法論
剛剛跟大家分享了英偉達(dá)對(duì)于 SOTIF 的理解，接下來給大家解釋一下，我們針對(duì)上述一些問題的方法和方法論。
首先，我們把整個(gè)驗(yàn)證的測(cè)試過程分為幾個(gè)步驟：
構(gòu)建一個(gè)模擬器來運(yùn)行可控的環(huán)境和場(chǎng)景;
軟件在環(huán)仿真，對(duì)軟件算法模塊進(jìn)行單元測(cè)試;
硬件在環(huán)仿真，把若干模塊和模組整合進(jìn)行系統(tǒng)測(cè)試;
之后在可控的封閉道路上做整體測(cè)試。
所以，我們可以把上述步驟分為兩大類，即真實(shí)世界的測(cè)試?yán)锍?，以及仿真環(huán)境里加速測(cè)試?yán)锍?。這里的“加速”不僅是指時(shí)間上的加速，還包括了場(chǎng)景構(gòu)建，或是其他變化的加速，從而獲得更高質(zhì)量的驗(yàn)證里程數(shù)。
從另一個(gè)維度來劃分就是軟件在環(huán)和硬件在環(huán)。一般來看，軟件在環(huán)方面，無人駕駛算法開發(fā)都在 X86 平臺(tái)上運(yùn)行，因此模擬器也在相同的平臺(tái)運(yùn)行。硬件在環(huán)方面，英偉達(dá)與傳統(tǒng)的主機(jī)廠有些不同。
傳統(tǒng)上的硬件在環(huán)一般指的是 ECU -in-the-loop，相當(dāng)于只有計(jì)算單元是真實(shí)的硬件。事實(shí)上，我們所說的硬件在環(huán)還包括了其他模擬出來的傳感器和車輛控制器。
由于，測(cè)試對(duì)象運(yùn)行在目標(biāo)平臺(tái)上，計(jì)算單元的算法需要驗(yàn)證的里程數(shù)巨大。所以，一套硬件并不能夠滿足需求，而是需要利用到 IT 行業(yè)已經(jīng)非常成熟的并行化計(jì)算和集群化計(jì)算來提高仿真訓(xùn)練效率。
因此，這種仿真的硬件在環(huán)平臺(tái)要能夠部署到數(shù)據(jù)中心，然后構(gòu)建成集群，然后使用集群調(diào)度管理工具來進(jìn)行集群化并行化運(yùn)行，這種測(cè)試的場(chǎng)景才有可能在有效的時(shí)間內(nèi)完成海量的驗(yàn)證里程。
如此一來，硬件在環(huán)就可以做到比特級(jí)的準(zhǔn)確，但它有一個(gè)缺點(diǎn)就是實(shí)時(shí)屬性太強(qiáng)。
對(duì)此，英偉達(dá)推出了 drive constellation解決方案，這是一個(gè)虛擬的 AV 仿真硬件在環(huán)模擬器。
從整個(gè)仿真的結(jié)構(gòu)來看，英偉達(dá)會(huì)把更多精力放在軟件在環(huán)仿真上，通過單個(gè)軟件模塊或者多個(gè)模塊進(jìn)行驗(yàn)證;軟件在環(huán)仿真驗(yàn)證之后就是硬件在環(huán)仿真，然后這一部分的仿真工作量相對(duì)減少;通過了硬件在環(huán)仿真驗(yàn)證，最后才會(huì)進(jìn)入到路測(cè)階段。
就工作量而言，我們認(rèn)為 SIL一般占到60-70%，HIL在20% 左右，剩下的為路測(cè)。
關(guān)于“加速”，我還想進(jìn)一步解釋一下。
如圖，在場(chǎng)景 A 當(dāng)中，假設(shè)綠車是我們無人駕駛算法控制的車，然后有一輛汽車想要變道超車，一次性只變一個(gè)車道，這樣的場(chǎng)景發(fā)生的概率很高，基本上每10公里就會(huì)發(fā)生一次;場(chǎng)景 B 中，這輛汽車在超車時(shí)跨越了兩個(gè)車道，這種場(chǎng)景發(fā)生的概率相比前者低，大概每30公里發(fā)生一次。
將上述兩個(gè)常見的場(chǎng)景參數(shù)進(jìn)行一定的隨機(jī)調(diào)整，就能衍生出變種的場(chǎng)景。比如場(chǎng)景 Ax和場(chǎng)景 Bx，這兩種場(chǎng)景都十分罕見， 1 萬公里可能才會(huì)發(fā)生一次，這也意味著這些場(chǎng)景更加危險(xiǎn)，因?yàn)闊o人駕駛開發(fā)公司在路測(cè)時(shí)，不一定能收集到這樣的場(chǎng)景。
通過這種隨機(jī)參數(shù)化的方式來衍生出常規(guī)場(chǎng)景的變種場(chǎng)景，擴(kuò)大測(cè)試的場(chǎng)景范圍，才有可能進(jìn)一步覆蓋我們從未遇到過的風(fēng)險(xiǎn)。同時(shí)，我們可以在多個(gè)機(jī)器上一起并行測(cè)試，大大提升驗(yàn)證的效率。
那么，我們?cè)趺礃尤?yīng)對(duì)諸如此類的場(chǎng)景變化?
正如上述提到的增加隨機(jī)參數(shù)的方式，我們推出了一種類似 Python 腳本的高級(jí)場(chǎng)景定義語言 HSDL。通過這種語言我們可以定義一些簡(jiǎn)單的行為，然后通過組合方式，將它們結(jié)合成復(fù)雜的場(chǎng)景。目前，這種語言也在積極地為 ASAM OpenScenario 2.0 做貢獻(xiàn)。
下圖是我們基于一個(gè)場(chǎng)景，通過 HSDL 語言對(duì)該場(chǎng)景進(jìn)行多次隨機(jī)化變化生成的多個(gè)場(chǎng)景。在多次執(zhí)行中，汽車的位置、所處的地形、面臨的天氣情況都不相同，許多的變化是我們?cè)谧铋_始編寫場(chǎng)景時(shí)沒有預(yù)料過的。
推廣男子深夜給老婆打電話忘了掛，聽到一個(gè)聲音羞憤!
通過這種方式來不斷地改進(jìn)算法，提升無人駕駛算法的可靠性，最終形成開發(fā)流程的閉環(huán)。
三、計(jì)算規(guī)模的問題
涉及到隨機(jī)的參數(shù)變化，我們就需要思考計(jì)算規(guī)模的問題。
從我們的經(jīng)驗(yàn)來看，每個(gè)場(chǎng)景都需要經(jīng)歷多次隨機(jī)變化才能保證覆蓋，衍生出來的場(chǎng)景數(shù)量基本上是在10的二次方級(jí)別，當(dāng)然也有可能更高。
那假如我們有 100 個(gè)基本測(cè)試場(chǎng)景，那么，總的需要測(cè)試的場(chǎng)景(加上衍生場(chǎng)景)大概有 100 萬個(gè)。假如每個(gè)場(chǎng)景每次測(cè)試 15 秒，那么，總的測(cè)試時(shí)間大概在 40 萬個(gè)小時(shí)左右。如果有 400 套像 Constellation 這樣的設(shè)備，那么，就可以在 1000 個(gè)小時(shí)之內(nèi)完成所有的驗(yàn)證任務(wù)。
如此大的計(jì)算規(guī)模需要在產(chǎn)品中加入數(shù)據(jù)中心的工作流程，幫助用戶來解決大規(guī)模集群的調(diào)度工作，以及仿真驗(yàn)證任務(wù)的分發(fā)工作。
目前，英偉達(dá)已經(jīng)研發(fā)了 drive constellation cloud集群化管理工具，用戶首先可以提交任務(wù)，隨后，系統(tǒng)會(huì)自動(dòng)將這些任務(wù)切分，分發(fā)到集群中數(shù)百臺(tái)機(jī)器上，同時(shí)進(jìn)行運(yùn)行。任務(wù)運(yùn)行完以后，所有數(shù)據(jù)自動(dòng)收集起來，然后存放到分布式存儲(chǔ)中進(jìn)行統(tǒng)一匯總，方便開發(fā)工程師取用。
最后我們來討論一個(gè)問題。
目前，我們認(rèn)為有兩種主要的辦法來對(duì)感知進(jìn)行驗(yàn)證，一種是 Replay，即在路面采集的數(shù)據(jù)記錄下來，然后在最終驗(yàn)證時(shí)進(jìn)行回放;另一種是 Simulation。
前一種辦法的優(yōu)勢(shì)就在于，這些收集到的數(shù)據(jù)都是來自真實(shí)世界里傳感器的數(shù)據(jù)，時(shí)間準(zhǔn)確度也比較好。但同樣是因?yàn)檫@一點(diǎn)，我們沒有辦法控制輸出的信號(hào)。也就是說，這種辦法只能進(jìn)行開環(huán)驗(yàn)證，基本上不能做閉環(huán)驗(yàn)證，而且成本也很高。
盡管 Simulation 在對(duì)真實(shí)世界的感知上不如 Replay，但它在很大程度上彌補(bǔ)了 Replay 的上述短板。為了讓 Simulation 變得真實(shí)，英偉達(dá)已經(jīng)開發(fā)了效果更佳的渲染引擎。
好，我今天給大家分享的內(nèi)容就是這些，感謝大家。
接下來是 Q&A; 環(huán)節(jié)：
1.激光雷達(dá)的反射值是怎么模擬的?
我們?cè)跇?gòu)建靜態(tài)場(chǎng)景的時(shí)候就會(huì)賦予物體一些材質(zhì)屬性，使得光線追蹤算法可以模擬激光的物理反射。經(jīng)過對(duì)物體材質(zhì)屬性的計(jì)算，最終我們可以得到一個(gè)相對(duì)準(zhǔn)確的反射值，甚至可以模擬出同一個(gè)激光雷達(dá)的多次反射和接收。
2.傳感器仿真的真實(shí)度如何評(píng)估?
我們會(huì)進(jìn)行對(duì)比測(cè)試。通過神經(jīng)網(wǎng)絡(luò)模型直接來評(píng)估仿真圖像的真實(shí)度，基本上是難以量化的。但我們可以通過神經(jīng)網(wǎng)絡(luò)模型或是其他算法，來間接評(píng)判我們仿真的真實(shí)度。如果仿真模型的特性與真實(shí)采集到的數(shù)據(jù)基本一致，那么傳感器仿真的真實(shí)度就比較高。
3. 仿真的數(shù)據(jù)庫(kù)場(chǎng)景從哪里來?
英偉達(dá)內(nèi)部使用的數(shù)據(jù)場(chǎng)景庫(kù)，一方面是基于我們對(duì)ODD的解析，比如在做無人駕駛的時(shí)候，針對(duì)定義的需求來構(gòu)建場(chǎng)景;另一方面是來自一些公開的場(chǎng)景庫(kù)，使用HSDL 語言將不同的場(chǎng)景隨機(jī)組合起來，生成更多的場(chǎng)景。
4.如何保證交通流模擬，車輛軌跡和行為的仿真性?
簡(jiǎn)單來說也是通過 HSDL 語言來實(shí)現(xiàn)。但是由于每輛車的行為都是隨機(jī)發(fā)生的，如果要確保這些行為的合理性，我們就要對(duì)隨機(jī)變量的范圍進(jìn)行控制和調(diào)整。在一開始的時(shí)候，這個(gè)范圍可能會(huì)過大或者過小，從而影響仿真的場(chǎng)景的真實(shí)性，所以，我們需要逐步優(yōu)化這個(gè)過程，對(duì)隨機(jī)參數(shù)進(jìn)行手動(dòng)的推理和調(diào)整。
5. 仿真場(chǎng)景中，哪些在 SIL中測(cè)，哪些在HIL中測(cè)?
我們的基本邏輯是，盡量在 SIL 中測(cè)，因?yàn)?SIL 跑得比較快，剩下一小部分有代表性的在 HIL 中測(cè)。所以，剛剛提到的通過 HSDL 語言合成的場(chǎng)景主要也是以 SIL 測(cè)試為主。 HSDL 的發(fā)布時(shí)間在很大程度上取決于今年下半年 ASAM OpenScenario 2.0 的推進(jìn)情況。
6. 高精地圖導(dǎo)入時(shí)怎么解決偏轉(zhuǎn)的問題?
其實(shí)我們?cè)谕七M(jìn)項(xiàng)目的過程中確實(shí)遇到了偏轉(zhuǎn)的問題，但由于英偉達(dá)是外資公司，很難拿到中國(guó)的無偏高清地圖。所以，我們干脆不假設(shè)自己可以拿到無偏高精地圖，我們會(huì)將中國(guó)特有的場(chǎng)景，以及一些影響駕駛的交通元素合成一個(gè)地圖。盡管這個(gè)地圖在真實(shí)世界不存在，但與駕駛相關(guān)的元素，比如說紅綠燈，交通信號(hào)牌或車道線，都符合真實(shí)世界的法律法規(guī)，所以我們的項(xiàng)目得以正常推進(jìn)。
