近年來(lái)，無(wú)人機(jī)已被廣泛應(yīng)用于很多領(lǐng)域，它不僅可以完成很多的任務(wù)，包括軌跡規(guī)劃、避障、巡航等，在民用、軍事都有很廣泛應(yīng)用，而且還有降低成本、提高效率、減少損失等很多作用。

但是傳統(tǒng)的無(wú)人機(jī)任務(wù)都采用飛控控制，需要人為操作。為了使無(wú)人機(jī)可以具備更廣的適用性，或者從技術(shù)上來(lái)說(shuō)擁有更好的泛化能力，深蘭科學(xué)院嘗試用強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練無(wú)人機(jī)做指定的任務(wù)。如果訓(xùn)練效果能夠達(dá)到足夠穩(wěn)定的性能，則可以進(jìn)一步實(shí)現(xiàn)商用目的。本文在此基礎(chǔ)上，帶大家簡(jiǎn)單了解一下強(qiáng)化學(xué)習(xí)的基礎(chǔ)知識(shí)。

強(qiáng)化學(xué)習(xí)小課堂

什么是強(qiáng)化學(xué)習(xí)？

1、強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（Reinforcement Learning RL）也有很多其他名字，例如再勵(lì)學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、評(píng)價(jià)學(xué)習(xí)，是機(jī)器學(xué)習(xí)的范式和方法論之一，用于描述和解決智能體在與環(huán)境的交互過(guò)程中，通過(guò)學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問(wèn)題。

上圖為經(jīng)典的強(qiáng)化學(xué)習(xí)結(jié)構(gòu)圖，從圖片中可以看出，強(qiáng)化學(xué)習(xí)過(guò)程主要由4部分構(gòu)成：智能體（agent）、觀測(cè)到的狀態(tài)（observation／state）、獎(jiǎng)勵(lì)（reward）和行為（action）。

一個(gè)強(qiáng)化學(xué)習(xí)的過(guò)程中，智能體獲得從當(dāng)前環(huán)境中觀測(cè)到的狀態(tài)，然后根據(jù)這一狀態(tài)采取一定的行為或策略，同時(shí)，有一個(gè)評(píng)價(jià)系統(tǒng)來(lái)評(píng)價(jià)這個(gè)行為的好壞，并返回正／負(fù)獎(jiǎng)勵(lì)給到智能體。循環(huán)往復(fù)，直到完成整個(gè)任務(wù)，此為一次強(qiáng)化學(xué)習(xí)的交互。整個(gè)強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程就是，智能體與環(huán)境不斷的交互，最終會(huì)學(xué)習(xí)到合理的策略，讓獎(jiǎng)勵(lì)最大或者達(dá)到某個(gè)任務(wù)（指定的狀態(tài)）。

強(qiáng)化學(xué)習(xí)受行為主義心理學(xué)的啟發(fā)，例如巴甫洛夫條件反射實(shí)驗(yàn)，訓(xùn)練搖鈴小狗流口水。小狗看到吃的流口水、搖鈴不流口水，實(shí)驗(yàn)中就采取搖鈴并給狗喂狗糧的方法不停訓(xùn)練，最終即使在沒(méi)有狗糧，只搖鈴的情況下，小狗也會(huì)流口水。

強(qiáng)化學(xué)習(xí)與此類(lèi)似，是讓智能體在與環(huán)境交互的過(guò)程中，一旦選擇對(duì)的行為則給予正獎(jiǎng)勵(lì)加強(qiáng)這種行為，在不斷的訓(xùn)練過(guò)程中使得智能體選擇最合適的行為，最終使得智能體的每一步都能選擇合理的行為，從而達(dá)到整體任務(wù)獎(jiǎng)勵(lì)最大化，并完成任務(wù)。

2、深度強(qiáng)化學(xué)習(xí)

我們一般所說(shuō)的強(qiáng)化學(xué)習(xí)其實(shí)是深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning DRL），深度強(qiáng)化學(xué)習(xí)是強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)結(jié)合的結(jié)果。顧名思義，就是將傳統(tǒng)強(qiáng)化學(xué)習(xí)中的某一部分用深度學(xué)習(xí)來(lái)完成。

傳統(tǒng)強(qiáng)化學(xué)習(xí)中的行為以及價(jià)值都是需要人為定義的，這也就是為什么傳統(tǒng)強(qiáng)化學(xué)習(xí)起源較早，但是應(yīng)用并不廣泛的原因之一。而深度學(xué)習(xí)恰好將這一問(wèn)題解決了，強(qiáng)化學(xué)習(xí)中的行為以及價(jià)值都用一個(gè)深度學(xué)習(xí)的網(wǎng)絡(luò)來(lái)學(xué)習(xí)得到，這樣不需要人為設(shè)定，使得強(qiáng)化學(xué)習(xí)可以廣泛應(yīng)用于很多領(lǐng)域。而傳統(tǒng)強(qiáng)化學(xué)習(xí)無(wú)法解決的連續(xù)性動(dòng)作的問(wèn)題，深度強(qiáng)化學(xué)習(xí)也可以解決，使用對(duì)應(yīng)的Actor－critic網(wǎng)絡(luò)即可。

深度強(qiáng)化學(xué)習(xí)的分類(lèi)，有很多種分類(lèi)標(biāo)準(zhǔn)。

從智能體的個(gè)數(shù)上，可分為單智能體算法和多智能體算法；

從是否基于模型的角度，可分為model－based和model－free；

從訓(xùn)練時(shí)策略的選擇，可分為on－policy和off－policy等等。

這里不一一展開(kāi)，但在實(shí)際運(yùn)用強(qiáng)化學(xué)習(xí)的時(shí)候，根據(jù)具體的任務(wù)或者項(xiàng)目，需要選擇合適的深度強(qiáng)化學(xué)習(xí)算法。