谷歌提出基于世界模型的的大規(guī)模強(qiáng)化學(xué)習(xí)方法Dreamer
近年來隨著強(qiáng)化學(xué)習(xí)的發(fā)展,使得智能體選擇恰當(dāng)行為以實(shí)現(xiàn)目標(biāo)的能力得到迅速地提升。目前研究領(lǐng)域主要使用兩種方法:一種是無模型(model-free)的強(qiáng)化學(xué)習(xí)方法,通過試錯的方式來學(xué)習(xí)預(yù)測成功的行為,其中著名的方法包括用于完成雅達(dá)利游戲的DeepMind的DQN方法和在星際爭霸二中與世界冠軍同臺競技的AlphaStar,但這類方法需要與環(huán)境進(jìn)行大量的交互限制了其在真實(shí)場景中的應(yīng)用。
而基于模型(model-based)的強(qiáng)化學(xué)習(xí)方法則額外學(xué)習(xí)一個簡化的環(huán)境模型,這一環(huán)境模型使得主體可以預(yù)測潛在行為序列的輸出,使得它可以通過假設(shè)的場景來在新環(huán)境中作出明智的決策,減少了實(shí)現(xiàn)目標(biāo)所需的試錯。先前學(xué)習(xí)精確的世界模型并將其充分應(yīng)用于行為學(xué)習(xí)中還面臨一系列挑戰(zhàn),但隨著近來像深度規(guī)劃網(wǎng)絡(luò)(DeepPlanningNetwork, PlaNet)的研究出現(xiàn),極大地拓展了從圖像中學(xué)習(xí)出精確世界模型的邊界,但基于模型的方法卻依然受到規(guī)劃(planning)機(jī)制龐大計(jì)算消耗的約束,限制了其在解決復(fù)雜任務(wù)上的應(yīng)用。
為了解決這些問題,來自谷歌和DeepMind的研究人員合作提出了一種基于圖像學(xué)習(xí)出世界模型(world model)的強(qiáng)化學(xué)習(xí)方法Dreamer,并在此基礎(chǔ)上學(xué)習(xí)出有遠(yuǎn)見的行為。Dreamer基于模型預(yù)測的反向傳播來利用世界模型實(shí)現(xiàn)高效的行為學(xué)習(xí)。通過從原始圖像輸入中計(jì)算出緊致的模型狀態(tài),這種方法可以使得主體在單個GPU上并行地從上千個預(yù)測序列中進(jìn)行高效的學(xué)習(xí)。通過20個基于原始圖像輸入的連續(xù)控制基準(zhǔn)任務(wù)上測評表明,Dreamer在性能、數(shù)據(jù)效率和計(jì)算時間上都達(dá)到了先進(jìn)水平。
Dreamer的基本架構(gòu)
Dreamer和典型的基于模型方法一樣包含三個過程:學(xué)習(xí)世界模型、基于世界模型的預(yù)測學(xué)習(xí)行為、在環(huán)境中執(zhí)行學(xué)習(xí)到的行為來收集新的經(jīng)驗(yàn)。為了學(xué)習(xí)行為,Dreamer中利用價值網(wǎng)絡(luò)(valuenetwork )將規(guī)劃視野外的獎勵納入考量,同時利用行為網(wǎng)絡(luò)(actor network)來高效的計(jì)算行為。這三部分可以并行地執(zhí)行,一直重復(fù)運(yùn)行直到達(dá)成目標(biāo):
Dreamer主體的三個過程,世界模型基于過去經(jīng)驗(yàn)學(xué)習(xí)、隨后基于這一模型預(yù)測,主體通過價值網(wǎng)絡(luò)來預(yù)測未來獎勵、行為網(wǎng)絡(luò)來選擇行為。行為網(wǎng)絡(luò)用于與環(huán)境交互。
學(xué)習(xí)世界模型
Dreamer采用了PlaNet的世界模型,通過一系列緊致的模型狀態(tài)來預(yù)測輸出,而這些模型狀態(tài)則通過輸入圖像計(jì)算得到,而不是直接利用圖像來進(jìn)行處理。它將自動學(xué)習(xí)得出代表有益于預(yù)測未來輸出概念的模型狀態(tài),例如目標(biāo)類型、位置以及目標(biāo)與周圍環(huán)境的交互等等。給定數(shù)據(jù)集中一個過去的圖像、行為和獎勵序列,Dreamer按照下圖的方式進(jìn)行世界模型的學(xué)習(xí):
Dreamer 從經(jīng)驗(yàn)中學(xué)習(xí)世界模型,利用過去的圖像(o1–o3)、行為(a1–a2),它將計(jì)算出緊致的模型狀態(tài)(綠色圓),并可以基于這些狀態(tài)重建出圖像并預(yù)測出獎勵。
利用PlaNet世界模型的優(yōu)勢在于利用緊致的模型狀態(tài)代替了圖像來進(jìn)行預(yù)測,極大地提高了計(jì)算效率。這使得模型可以在單個GPU上預(yù)并行的預(yù)測上千個序列。這種方式同時可以提高模型的泛化性,進(jìn)行精確的長時視頻預(yù)測。為了更好地理解模型的工作原理,下圖展示了將預(yù)測序列模型狀態(tài)解碼回圖像的結(jié)果:
復(fù)雜環(huán)境下的長程預(yù)測結(jié)果,上圖顯示了兩個主體未曾遇到過的序列,給定五張輸入圖像,模型對其進(jìn)行重建并預(yù)測出了后續(xù)到50步的圖像結(jié)果。
高效行為學(xué)習(xí)
先前基于模型的主體選擇行為的方法分為兩種,要么通過多個模型預(yù)測來進(jìn)行規(guī)劃、要么通過將世界模型代替模擬器來復(fù)用無模型方法的技術(shù),但兩種方法都需要龐大的計(jì)算需求,同時也未充分利用學(xué)習(xí)到的世界模型。此外及時強(qiáng)大的世界模型也會受制于精確預(yù)測的長度,很多先前基于模型的主體表現(xiàn)出短視的缺點(diǎn)。Dreamer通過世界模型的預(yù)測進(jìn)行反向傳播學(xué)習(xí)價值網(wǎng)絡(luò)和行為網(wǎng)絡(luò)來克服上述局限。
Dreamer通過預(yù)測的狀態(tài)序列反向傳播獎勵來高效地學(xué)習(xí)行為網(wǎng)絡(luò)用于預(yù)測正確的行為,這在無模型方法中是無法實(shí)現(xiàn)的。這將告訴Dreamer其多小的行為變化將會影響未來預(yù)測的獎勵,使得它可以向最大化獎勵的方向上優(yōu)化行為網(wǎng)絡(luò)。為了考慮預(yù)測范圍外的獎勵,價值網(wǎng)絡(luò)將估計(jì)每一個模型狀態(tài)未來的獎勵和,獎勵和價值將反向傳播來優(yōu)化行為網(wǎng)絡(luò)去改善行為。
Dreamer通過模型狀態(tài)預(yù)測序列來學(xué)習(xí)長程行為,首先學(xué)習(xí)每個狀態(tài)的長程價值,而后通過反向傳播到行為網(wǎng)絡(luò)來預(yù)測能夠得到高價值和獎勵的行為。
Dreamer與PlaNet有諸多不同,在環(huán)境中的給定狀態(tài)下,PlaNet在不同行為序列的多個預(yù)測中搜索最佳行為,而Dreamer則避開了這種計(jì)算消耗巨大的搜索方式,利用規(guī)劃和行為解耦的方式來提高計(jì)算效率。一旦在預(yù)測序列上訓(xùn)練好了行為網(wǎng)絡(luò),它將計(jì)算與環(huán)境交互的行為而無需額外的搜索。此外Dreamer利用價值函數(shù)考慮到了規(guī)劃以外的獎勵并通過反向傳播提高了規(guī)劃的效率。
控制任務(wù)上的表現(xiàn)
為了測試Dreamer的性能,研究人員在20個不同的任務(wù)上對其進(jìn)行了測評,包括平衡、控制、運(yùn)動等多種復(fù)雜的強(qiáng)化學(xué)習(xí)任務(wù)。
多種復(fù)雜的任務(wù),其輸入為圖像。包括了碰撞、稀疏獎勵、混沌動力學(xué)和高自由度甚至三維視角等復(fù)雜情況。
研究人員將Dreamer與多個先進(jìn)的模型進(jìn)行了比較,包括先前最先進(jìn)的基于模型的方法PlaNet、無模型方法A3C、結(jié)合多種先進(jìn)手段的無模型方法D4PG。實(shí)驗(yàn)表明,基于模型的主體可以在五百萬幀內(nèi)完成高效學(xué)習(xí),大概對應(yīng)28小時的仿真,而無模型的方法則需要近100萬幀的學(xué)習(xí),大概對應(yīng)23天的仿真訓(xùn)練。在20個任務(wù)的測評基準(zhǔn)上,Dreamer領(lǐng)先于目前最先進(jìn)的無模型方法D4PG(平均分823>786),同時其與環(huán)境的交互大概要少二十倍。此外它最終的結(jié)果在所有任務(wù)上也超過了先前最好的基于模型方法PlaNet,最終的結(jié)果如下圖所示:
Dreamer的性能與其他方法的比較,其得分、數(shù)據(jù)效率和計(jì)算時間都比先前方法要好。
此外研究人員還在連續(xù)任務(wù)上進(jìn)行了實(shí)驗(yàn),以驗(yàn)證Dreamer面對復(fù)雜環(huán)境的能力。下面的任務(wù)需要不僅需要長程行為預(yù)測,同時還需要模型具有空間感知能力。實(shí)驗(yàn)表明Dreamer對于這些更具挑戰(zhàn)的任務(wù)依然能夠很好的進(jìn)行處理:
Dreamer成功的在雅達(dá)利游戲和DeepMind環(huán)境中運(yùn)行,這些離散的任務(wù)更具挑戰(zhàn)性。
Dreamer不僅在性能上超越了原有基于模型的方法,同時在計(jì)算效率上也大幅提升。研究人員認(rèn)為Dreamer將為強(qiáng)化學(xué)習(xí)提供更為堅(jiān)實(shí)的發(fā)展根基,同時也將促進(jìn)更好的表示學(xué)習(xí)、基于不確定性的方向探索、時域抽象和多任務(wù)學(xué)習(xí)的發(fā)展。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市