侵權(quán)投訴
訂閱
糾錯(cuò)
加入自媒體

這家公司創(chuàng)建了自動(dòng)駕駛開(kāi)源熱成像傳感器數(shù)據(jù)集,匯集了1萬(wàn)張注釋圖像

傳感器系統(tǒng)開(kāi)發(fā)商FLIR公司近日發(fā)布了自動(dòng)駕駛開(kāi)源熱傳感器數(shù)據(jù)集,該數(shù)據(jù)集匯集了10,000多個(gè)白天和夜間場(chǎng)景的注釋熱圖像,熱成像傳感器可以檢測(cè)行人,動(dòng)物和其他車(chē)輛,最大距離可達(dá)到傳統(tǒng)前燈照明的四倍。該傳感器的應(yīng)用將有助于駕駛員或未來(lái)的自動(dòng)駕駛車(chē)輛在黑暗,太陽(yáng)眩光,霧,煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠(yuǎn)。

近日,美國(guó)俄勒岡州的傳感器系統(tǒng)開(kāi)發(fā)商 FLIR Systems Inc. 宣布推出一款開(kāi)源機(jī)器學(xué)習(xí)熱數(shù)據(jù)集,專(zhuān)為高級(jí)駕駛輔助系統(tǒng)(ADAS)和自動(dòng)駕駛汽車(chē)研究人員,開(kāi)發(fā)人員和汽車(chē)制造商而設(shè)計(jì),該數(shù)據(jù)集匯集了10,000多個(gè)白天和夜間場(chǎng)景的注釋熱圖像。

什么是熱成像傳感器?

智車(chē)科技曾在《紅外熱像儀結(jié)合機(jī)器學(xué)習(xí)助力自動(dòng)駕駛安全,或是未來(lái)發(fā)展方向之一》一文中提到,熱像儀又稱紅外熱像儀,是利用紅外探測(cè)器和光學(xué)成像物鏡接受被測(cè)目標(biāo)的紅外輻射能量分布圖形反映到紅外探測(cè)器的光敏元件上,從而獲得紅外熱像圖,這種熱像圖與物體表面的熱分布場(chǎng)相對(duì)應(yīng)。通俗地講熱像儀就是將物體發(fā)出的不可見(jiàn)紅外能量轉(zhuǎn)變?yōu)榭梢?jiàn)的熱圖像。熱圖像的上面的不同顏色代表被測(cè)物體的不同溫度。紅外熱像儀是可通過(guò)光電轉(zhuǎn)換、電信號(hào)處理等手段,將目標(biāo)物體的溫度分布圖像轉(zhuǎn)換成視頻圖像的設(shè)備。

熱像儀可通過(guò)識(shí)別行人、動(dòng)物以及周?chē)h(huán)境發(fā)出的熱量,形成物體輪廓圖像,進(jìn)而幫助司機(jī)發(fā)現(xiàn)行駛過(guò)程中的危險(xiǎn)。

目前自動(dòng)駕駛感知的局限性

目前自動(dòng)駕駛感知一般都用激光雷達(dá)(LiDAR)、雷達(dá)和攝像頭等,這些傳感器的感知距離有限,而且對(duì)行人、動(dòng)物等識(shí)別容易出現(xiàn)差錯(cuò),需要人類(lèi)駕駛員隨時(shí)準(zhǔn)備接管控制車(chē)輛,要實(shí)現(xiàn)3-5級(jí)的自動(dòng)駕駛,車(chē)輛需要更大數(shù)量和更強(qiáng)功能的傳感器。

雷達(dá)傳感器可以檢測(cè)遠(yuǎn)處的物體,但卻無(wú)法識(shí)別該物體。攝像頭可以很有效地確定物體是什么,但僅能在較近的范圍內(nèi)起作用,而且在夜間等感光能力差的時(shí)候,容易出現(xiàn)誤識(shí)別(比如Uber事件)。雷達(dá)傳感器和攝像頭融合方案,可以為自動(dòng)駕駛車(chē)輛提供更完整的檢測(cè)和覆蓋范圍,但仍需有強(qiáng)大的冗余備份。

目前的傳感技術(shù)都存在感知問(wèn)題。CMOS攝像頭、雷達(dá)和LiDAR無(wú)法在動(dòng)態(tài)照明或惡劣天氣條件下發(fā)揮作用。(來(lái)源:面包板社區(qū))

在ADAS環(huán)境中,感應(yīng)熱紅外輻射或熱量的能力為現(xiàn)有傳感器技術(shù)提供了互補(bǔ)和獨(dú)特的優(yōu)勢(shì)。當(dāng)前的自動(dòng)駕駛和自動(dòng)駕駛解決方案使用各種傳感器來(lái)收集汽車(chē)周?chē)h(huán)境的信息,但它們都有缺點(diǎn),在與熱成像結(jié)合使用時(shí)解決。作為目前汽車(chē)行業(yè)唯一的汽車(chē)級(jí)無(wú)源紅外傳感器,F(xiàn)LIR傳感器應(yīng)用于眾多車(chē)輛,包括通用汽車(chē),標(biāo)致,梅賽德斯,奧迪和寶馬制造的車(chē)輛,以及售后系統(tǒng)。可以檢測(cè)行人,動(dòng)物和其他車(chē)輛,熱傳感器的最大距離可達(dá)到傳統(tǒng)前燈照明的四倍。熱成像有助于駕駛員和未來(lái)的自動(dòng)駕駛車(chē)輛在黑暗,太陽(yáng)眩光,霧,煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠(yuǎn)。

FIR技術(shù)方案

據(jù)面包板社區(qū)介紹,F(xiàn)IR熱攝像頭使用遠(yuǎn)紅外光波來(lái)檢測(cè)物體自然發(fā)出的熱量(熱輻射)的差異,并將該數(shù)據(jù)轉(zhuǎn)換成圖像,可以掃描可見(jiàn)光以上的紅外光譜,因此可以檢測(cè)到一般攝像頭/雷達(dá)/LiDAR無(wú)法察覺(jué)的物體。帶有FIR的VGA熱傳感器對(duì)于高對(duì)比度成像具有0.05攝氏度的靈敏度,可以檢測(cè)到200米距離遠(yuǎn)的行人。FIR傳感器將能夠以30或60fps的速度跟蹤行人,并檢測(cè)前方道路。

FIR傳感器產(chǎn)生新的信息,可提高分割能力,并提供對(duì)車(chē)輛周?chē)h(huán)境的準(zhǔn)確分析

除了捕獲物體或材料的溫度之外,F(xiàn)IR攝像頭還可以捕獲物體的發(fā)射率——它是如何有效地散發(fā)熱量的。由于每個(gè)物體具有不同的發(fā)射率,因此FIR攝像頭可以感測(cè)其路徑中的任何物體。有了這些信息,攝像頭就可以創(chuàng)建一個(gè)可以獨(dú)立并安全運(yùn)行的道路視覺(jué)圖畫(huà)。

在低光靈敏度下幾種最先進(jìn)的攝像頭對(duì)比,采用FIR方案的Viper可以檢測(cè)到其他傳感技術(shù)無(wú)法檢測(cè)到的物體

憑借這項(xiàng)先進(jìn)的技術(shù),F(xiàn)IR攝像頭可以克服復(fù)雜的天氣和照明條件帶來(lái)的障礙,而這是目前其他傳感技術(shù)無(wú)法克服的。

開(kāi)源熱數(shù)據(jù)集

這是首款包含汽車(chē),其他車(chē)輛,人員,自行車(chē)和狗的注釋的熱數(shù)據(jù)集,它能夠使開(kāi)發(fā)人員使用FLIR汽車(chē)開(kāi)發(fā)套件(ADKTM)開(kāi)始測(cè)試并優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法。當(dāng)它與普通可見(jiàn)光攝像機(jī),激光雷達(dá)和雷達(dá)相結(jié)合時(shí),熱傳感器數(shù)據(jù)與機(jī)器學(xué)習(xí)相結(jié)合,有助于創(chuàng)建更全面和冗余的系統(tǒng),用于識(shí)別和分類(lèi)道路物體,尤其是行人和其他生物。

“這個(gè)免費(fèi)的開(kāi)源數(shù)據(jù)集,它為汽車(chē)界提供了一個(gè)重要的機(jī)會(huì),使ADAS和自動(dòng)駕駛汽車(chē)在各種條件下更具魯棒性!盕LIR業(yè)務(wù)總裁說(shuō)!按送,最近引人注目的自動(dòng)駕駛相關(guān)事故,顯示出對(duì)經(jīng)濟(jì)實(shí)惠的智能熱傳感器的明確需求。憑借數(shù)百萬(wàn)自動(dòng)駕駛汽車(chē)的潛力,F(xiàn)LIR熱傳感器成本將大幅降低,這將鼓勵(lì)大規(guī)模采用并最終實(shí)現(xiàn)更安全的自動(dòng)駕駛汽車(chē)。”

該數(shù)據(jù)集包括日間和夜間場(chǎng)景,包含汽車(chē)和其他車(chē)輛以及人員,自行車(chē)和狗的注釋。圖像可用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)識(shí)別這些對(duì)象。FLIR表示,將熱圖像與激光雷達(dá),雷達(dá)和可見(jiàn)光相機(jī)相結(jié)合可以創(chuàng)建更強(qiáng)大的算法,能夠更輕松地識(shí)別物體 ——特別是人和動(dòng)物。

車(chē)道線清晰,在夜間具有挑戰(zhàn)性的照明條件下,ADK與可見(jiàn)相機(jī)的對(duì)比

最新的FLIR ADK與NVIDIA DRIVE汽車(chē)平臺(tái)的開(kāi)發(fā)者生態(tài)系統(tǒng)兼容。ADK采用高分辨率FLIR Boson,配備Intel Movidius Myriad 2視覺(jué)處理單元,是FLIR唯一的熱像儀模塊,采用先進(jìn)的低功耗多核視覺(jué)處理器,結(jié)構(gòu)緊湊,堅(jiān)固耐用汽車(chē)使用所需的包裝。

隨著世界向自動(dòng)駕駛汽車(chē)邁進(jìn),這種熱傳感器的應(yīng)用可能將有助于汽車(chē)行業(yè)將自動(dòng)駕駛汽車(chē)所需的可靠性和冗余性。


聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)