侵權(quán)投訴
訂閱
糾錯(cuò)
加入自媒體

IJCA2019協(xié)調(diào)ADAS新方法:隨機(jī)對(duì)抗性模仿學(xué)習(xí)

2019年5月13日,國際人工智能聯(lián)合會(huì)議(IJCAI)2019發(fā)布了一篇題為Randomized Adversarial Imitation Learning的論文。該文介紹了一種基于自動(dòng)駕駛的隨機(jī)對(duì)抗性模仿學(xué)習(xí)(Randomized Adversarial Imitation Learning,RAIL)。該方法模擬了配備先進(jìn)傳感器的自動(dòng)駕駛汽車的協(xié)調(diào)過程,通過自由派生優(yōu)化決策系統(tǒng)進(jìn)而協(xié)調(diào)諸如智能巡航控制(SCC)和車道保持(LKS)等ADAS功能。值得一提的是,該方法在復(fù)雜的多車道高速公路和多智能體環(huán)境下,可以處理激光雷達(dá)數(shù)據(jù)并進(jìn)行決策。

在多車道高速公路環(huán)境中,安全事故往往會(huì)導(dǎo)致道路擁堵或發(fā)生更嚴(yán)重的交通事故,F(xiàn)代自動(dòng)駕駛中呈現(xiàn)的各種ADAS功能具有高度的相互依賴性,需要將其看成一個(gè)單一的綜合體,需要在保證安全的同時(shí),形成長期有效的輔助策略顯得尤為重要。本文介紹了一種基于自動(dòng)駕駛的隨機(jī)對(duì)抗性模仿學(xué)習(xí)(Randomized Adversarial Imitation Learning,RAIL)。該方法模擬了配備先進(jìn)傳感器的自動(dòng)駕駛汽車的協(xié)調(diào)過程,通過自由派生優(yōu)化決策系統(tǒng)進(jìn)而協(xié)調(diào)諸如智能巡航控制(SCC)和車道保持(LKS)等ADAS功能。值得一提的是,該方法在復(fù)雜的多車道高速公路和多智能體環(huán)境下,可以處理激光雷達(dá)數(shù)據(jù)并進(jìn)行決策。

基于自動(dòng)駕駛的隨機(jī)對(duì)抗性模仿學(xué)習(xí)(RAIL)法表明,在政策參數(shù)空間內(nèi)的隨機(jī)搜索可以適用于自動(dòng)駕駛政策的模仿學(xué)習(xí)。具體貢獻(xiàn)如下:

(1) 自駕駛機(jī)制是在模仿學(xué)習(xí)的啟發(fā)下提出的,RAIL方法可以成功地模擬專業(yè)駕駛表現(xiàn);相應(yīng)的靜態(tài)和線性策略可以以相近的速度完成多次換道和超車。

(2) 傳統(tǒng)的模擬學(xué)習(xí)方法對(duì)自動(dòng)駕駛的控制結(jié)構(gòu)復(fù)雜。相比而言,RAIL方法是基于無派生的隨機(jī)搜索,該方法更加簡單。

(3) RAIL方法開創(chuàng)了應(yīng)用于自主駕駛魯棒駕駛策略的學(xué)習(xí)先河。

圖1 車輛控制系統(tǒng)的簡化學(xué)習(xí)層次

先來看一下傳統(tǒng)的自動(dòng)駕駛汽車的系統(tǒng)層次結(jié)構(gòu)(如圖1),底層的ADAS控制器直接連接到無人駕駛汽車的激光雷達(dá)傳感器?刂破鞔_定控制車輛所需的信息,并將已經(jīng)決策好的操作傳遞給機(jī)械部件。作為一個(gè)單一的集成系統(tǒng),最好有多個(gè)ADAS功能同時(shí)協(xié)作來控制車輛的系統(tǒng)運(yùn)行。

研究動(dòng)機(jī):在多車道高速公路等有限條件下,主系統(tǒng)通過協(xié)調(diào)ADAS功能,實(shí)現(xiàn)汽車的自動(dòng)駕駛。由于車輛本身與周圍其他車輛、車道或者環(huán)境相互作用、互相交互,通過攝像頭或雷達(dá)等監(jiān)視器,主系統(tǒng)并不能獲取車輛周圍完整的環(huán)境狀態(tài),只能使用部分局部可見信息。因此,RAIL方法首先將監(jiān)測(cè)代理器建模為一個(gè)(O,A,T,R, γ)數(shù)組,該數(shù)組表示一個(gè)部分可見的馬爾可夫決策過程,其中包含對(duì)自動(dòng)駕駛的連續(xù)觀察和動(dòng)作,還有激光雷達(dá)數(shù)據(jù)的部分觀測(cè)狀態(tài),用O表示。

狀態(tài)空間:RAIL使用激光雷達(dá)傳感器發(fā)射的N條光束均勻地分布在視場(chǎng)上[wmin,wmax]獲取的數(shù)據(jù)完成矢量觀測(cè)。每個(gè)傳感器數(shù)據(jù)有最大范圍rmax,傳感器返回它遇到的第一個(gè)障礙物與車輛之間的距離,如果沒有檢測(cè)到障礙物,則返回rmax。然后,數(shù)值表示為O=(O1,…, ON)。進(jìn)而,根據(jù)距離數(shù)據(jù),可以計(jì)算出障礙物與車輛之間的相對(duì)速度Vr = (V1,…VN)。

操作空間:該策略是一個(gè)高層次的決策者,通過對(duì)高速公路的觀察來確定最優(yōu)的行動(dòng)。假設(shè)自動(dòng)駕駛汽車?yán)昧薃DAS功能,因此,驅(qū)動(dòng)策略的操作激活了每個(gè)ADAS功能。驅(qū)動(dòng)策略定義在離散的動(dòng)作空間。高層次決策可以分解為以下5個(gè)步驟:(1)保持當(dāng)前狀態(tài);(2)加速速度為velcur+velacc;(3)減速速度為velcur-veldec;(4)左轉(zhuǎn);(5)右轉(zhuǎn)。以上操作通過自動(dòng)緊急制動(dòng)(AEB)和自適應(yīng)巡航控制(ACC)完成。

圖2 RAIL結(jié)構(gòu)

RAIL主要是是增強(qiáng)傳統(tǒng)的ARS和GAIL算法。RAIL旨在培訓(xùn)駕駛決策,模仿專業(yè)司機(jī)的規(guī)范操作。汽車被認(rèn)為是一個(gè)代理策略πθ,在多車道高速公路上,車輛收集數(shù)據(jù)后生成小值隨機(jī)噪聲矩陣。該代理根據(jù)生成的噪聲策略與環(huán)境進(jìn)行多次交互,并將結(jié)果收集為樣本軌跡。

最小二乘損失函數(shù)(3)對(duì)決策邊界兩側(cè)遠(yuǎn)離標(biāo)準(zhǔn)軌跡的采樣軌跡進(jìn)行懲罰。

該方法可以用公式(4)表示。

公式(5)表示對(duì)抗模仿學(xué)習(xí)與隨機(jī)對(duì)抗模仿學(xué)習(xí)RAIL的隨機(jī)參數(shù)空間搜索之間的關(guān)系。

圖3中實(shí)驗(yàn)的目的是為了展示樣品的效率。為了評(píng)估效率,實(shí)驗(yàn)考慮了平均車速、換道次數(shù)、超車次數(shù)、縱向獎(jiǎng)勵(lì)和橫向獎(jiǎng)勵(lì),如圖3和圖4所示。

由表1可以看出,兩層政策的平均車速和平均超車統(tǒng)計(jì)量最高,分別為70.38km/h和45.04。這是因?yàn)榛谏w爾的框架和基于與環(huán)境交互的策略優(yōu)化,經(jīng)過訓(xùn)練的策略有時(shí)可以獲得比專業(yè)人類駕駛員更高的性能。另一方面,單層策略的性能提高了90%。這是因?yàn)閱螌硬蛔阋哉_處理高維觀測(cè)。上述,BC試圖將專業(yè)演示過程中的1步偏差誤差最小化。因此,由于訓(xùn)練和測(cè)試之間的分布不匹配,單層策略表現(xiàn)出不理想的性能。

在圖4中,使用縱向補(bǔ)償來分析環(huán)境補(bǔ)償?v向補(bǔ)償與速度成正比;因此,歸一化結(jié)果與圖3a所示的平均速度相同。為了評(píng)估行動(dòng)決策的敏感性,使用了橫向補(bǔ)償。在變道完成之前,車輛可以根據(jù)觀察改變決策。由于換道過程中橫向獎(jiǎng)勵(lì)是連續(xù)發(fā)生的,因此在換道過程中頻繁的換道會(huì)導(dǎo)致?lián)Q道過程中獎(jiǎng)勵(lì)的減少。在圖4b中,兩層策略在最后一種情況下獲得了較大的橫向獎(jiǎng)勵(lì)。然而,兩層策略比專家策略顯示了更多的車道變化。這是因?yàn)閮蓪硬呗圆惶赡茉诓僮髌陂g更改決策。另一方面,單層策略比專家策略更能顯示頻繁的換道。因?yàn)閱螌硬呗越?jīng)常更改其決策,單層策略獲得最小的橫向補(bǔ)償。BC表示換道次數(shù)最少。然而,經(jīng)過培訓(xùn)的策略比RAIL培訓(xùn)的單層策略獲得了更大的回報(bào)。變道數(shù)量明顯小于單層策略;從而使訓(xùn)練后的策略比單層策略獲得更大的橫向回報(bào)。

通過圖3c的實(shí)驗(yàn),模擬專家論證,測(cè)量合適的決策。為了獲得與專家相似的超車次數(shù),仿真過程中的換道點(diǎn)和決策應(yīng)與專家相似。在圖3c中,兩層策略相比之下,顯示了預(yù)期的性能。此外,決策點(diǎn)和操作與專家相似。然而,單層策略比專家策略顯示的接管數(shù)量要少。這是因?yàn)槠骄俣容^低,并且根據(jù)觀察做出了不合適的換道決定。

綜上所述,驗(yàn)證了RAIL方法提高了平均速度,減少了不必要的變道次數(shù)。這就意味著RAIL方法政策方向是正確的。實(shí)驗(yàn)結(jié)果表明,兩層策略取得了與駕駛專家相似的性能。

聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)