▲ 圖片由AI生成

從“人+RPA”到“人+生成式AI+RPA”，LLM如何影響RPA人機(jī)交互？

換個(gè)角度，從人機(jī)交互看LLM如何影響RPA

影響程序開發(fā)與流程自動(dòng)化人機(jī)交互的RPA，現(xiàn)在也要被LLM改變了

LLM如何影響人機(jī)交互？生成式AI怎么改變RPA人機(jī)交互？一文看明白

大模型時(shí)代來臨，基于LLM的生成式AI正在快速變革RPA人機(jī)交互

生成式AI重新定義人機(jī)交互，LLM正在影響RPA軟件架構(gòu)變遷

文/王吉偉

如果問RPA對(duì)程序開發(fā)以及自動(dòng)化有哪些貢獻(xiàn)，其中一個(gè)答案便是它改變了人機(jī)交互（HCI，human-computer interaction）。

在傳統(tǒng)工作流自動(dòng)化工具中，軟件開發(fā)人員不得不生成一個(gè)操作列表，使用內(nèi)部應(yīng)用程序編程接口（API）或?qū)Ｓ媚_本語言自動(dòng)執(zhí)行任務(wù)和與后端系統(tǒng)的接口。

RPA系統(tǒng)則通過觀察用戶在應(yīng)用程序的圖形用戶界面（GUI）中執(zhí)行該任務(wù)來開發(fā)操作列表，然后通過直接在GUI 中重復(fù)這些任務(wù)來執(zhí)行自動(dòng)化，并且能夠給在多個(gè)應(yīng)用程序之間處理數(shù)據(jù)。

這個(gè)看似簡(jiǎn)單并被稱作“外掛”的形式，有效降低了產(chǎn)品中使用自動(dòng)化的障礙，并進(jìn)一步讓更多組織的端到端自動(dòng)化成為可能。作為一種改變數(shù)字工作者工作形式的業(yè)務(wù)流程自動(dòng)化技術(shù)，二十多年來它不僅將人力資源從簡(jiǎn)單重復(fù)的工作解放出來，還讓程序開發(fā)變得更加簡(jiǎn)單。同時(shí)它還締造了一種“人+RPA”的人機(jī)交互模式，讓廣大組織能夠更簡(jiǎn)單地實(shí)現(xiàn)人機(jī)協(xié)同。

尤其是近些年足夠成熟、有彈性、可擴(kuò)展和可靠性強(qiáng)的RPA平臺(tái)出現(xiàn)后，很多大型組織都可以RPA改善與優(yōu)化其業(yè)務(wù)流程和開發(fā)模式，實(shí)現(xiàn)增效降本。

以上這些的實(shí)現(xiàn)，皆因RPA不斷改善和優(yōu)化業(yè)務(wù)流程自動(dòng)化以及程序開發(fā)中的人機(jī)交互。

沒錯(cuò)，得到眾多技術(shù)加持的RPA在不斷滲透到更多行業(yè)的同時(shí)，也在持續(xù)改變不同領(lǐng)域多種業(yè)務(wù)場(chǎng)景的人機(jī)交互。

尤其是近幾年RPA的再次火爆，正是因?yàn)樗�深度融合了AI技術(shù)。以RPA為核心的超自動(dòng)化技術(shù)合集更是囊括了所有與自動(dòng)化相關(guān)的技術(shù)，讓端到端自動(dòng)化的人機(jī)交互體驗(yàn)持續(xù)增強(qiáng)，進(jìn)而受到更多組織的青睞。

現(xiàn)在，AI大模型時(shí)代到來，不斷進(jìn)化的RPA同樣也在融合生成式AI技術(shù)。當(dāng)前融合LLM（Large Language Model，大型語言模型）的RPA，可以說在人機(jī)交互上是一次巨大進(jìn)步，甚至是一種對(duì)以往RPA模式的顛覆。

既然要聊LLM對(duì)RPA人機(jī)交互的影響，自然要從人機(jī)交互談起。到底LLM對(duì)人機(jī)交互有什么影響？RPA是如何改善人機(jī)交互的？LLM又對(duì)RPA有什么影響？

本文，王吉偉頻道就跟大家聊聊這些。

從人機(jī)交互談起

上世紀(jì)70年代，大多數(shù)辦公室的業(yè)務(wù)運(yùn)行仍舊使用金屬文件、打字機(jī)和大量紙張。而體積龐大的計(jì)算機(jī)，只能存放在只有少數(shù)人可以操作的冷藏室中。

為了解決這些問題，一些公司開始研發(fā)個(gè)人計(jì)算機(jī)。施樂公司于1973年開發(fā)了施樂Alto，雖然因?yàn)樵靸r(jià)太高等問題該產(chǎn)品始終未能上市，但它卻成了GUI的第一個(gè)草圖，成為了Macintosh（麥金塔電腦）和Windows的靈感來源。

受到一系列研究和相應(yīng)研發(fā)的影響，以及當(dāng)時(shí)市場(chǎng)對(duì)于小型計(jì)算機(jī)的強(qiáng)烈需求，作為研究如何以及為什么使計(jì)算機(jī)對(duì)用戶更加友好的一種手段，人機(jī)交互這個(gè)概念以及全新學(xué)科便出現(xiàn)于70年代末80年代初。

從那時(shí)起，HCI領(lǐng)域不斷發(fā)展，主要用于剖析人類行為以解決社會(huì)最復(fù)雜的問題，研究人們?nèi)绾闻c計(jì)算機(jī)交互以及用戶能夠在多大程度上與計(jì)算機(jī)交互，目標(biāo)是在計(jì)算機(jī)和用戶之間進(jìn)行成功的交互，并探索哪些領(lǐng)域需要更多的相關(guān)開發(fā)。

由于能夠解決當(dāng)時(shí)社會(huì)生產(chǎn)力的尖銳矛盾，HCI的研究領(lǐng)域在很短時(shí)間內(nèi)就擴(kuò)展到所有IT領(lǐng)域。

同時(shí)研究人員意識(shí)到，他們必須將與計(jì)算機(jī)的交互擴(kuò)展到每個(gè)人，而不僅僅是信息技術(shù)專業(yè)人員。因此在幾年之內(nèi)，HCI就快速擴(kuò)展到幾乎所有信息技術(shù)設(shè)計(jì)的變化。

在史蒂夫喬布斯等人的努力之下，蘋果公司在1984年推出了Macintosh個(gè)人計(jì)算機(jī)，人機(jī)交互形式由此徹底改變了。它使得計(jì)算機(jī)的使用變得更加容易，使通信變得更加簡(jiǎn)單，鍵盤、鼠標(biāo)和基于圖標(biāo)的用戶界面開始流行。

后來，蘋果公司成為個(gè)人PC先驅(qū)，微軟推出了windows系統(tǒng)，這些產(chǎn)品和軟件完全改變并顛覆了全球的業(yè)務(wù)流程與辦公的人機(jī)交互形式。

這些大家都熟悉，這里就不用多介紹了。

直到今天，IoT已成為網(wǎng)絡(luò)連接基礎(chǔ)，人工智能也已無處不在，而人機(jī)交互仍舊是各種技術(shù)、產(chǎn)品及解決方案的重點(diǎn)。

通過前面的發(fā)展簡(jiǎn)史，相信大家應(yīng)該已經(jīng)對(duì)人機(jī)交互有一個(gè)大體認(rèn)知。那么到底什么是人機(jī)交互呢？且看下一節(jié)。

人機(jī)交互的四要素、六目標(biāo)和七原則

通用定義認(rèn)為，人機(jī)交互技術(shù)（Human-Computer Interaction Techniques）是指通過計(jì)算機(jī)輸入、輸出設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)對(duì)話的技術(shù)。

人機(jī)交互技術(shù)包括機(jī)器通過輸出或顯示設(shè)備給人提供大量有關(guān)信息及提示請(qǐng)示等，人通過輸入設(shè)備給機(jī)器輸入有關(guān)信息，回答問題及提示請(qǐng)示等。因此，人機(jī)交互技術(shù)是計(jì)算機(jī)用戶界面設(shè)計(jì)中的重要內(nèi)容之一。

在學(xué)術(shù)上，人機(jī)交互是一門與人類使用的交互式計(jì)算系統(tǒng)的設(shè)計(jì)，評(píng)估和實(shí)施有關(guān)的，以及研究圍繞它們的主要現(xiàn)象的學(xué)科。

人機(jī)交互關(guān)注人（用戶）與計(jì)算機(jī)之間接口（交互界面），關(guān)注計(jì)算機(jī)技術(shù)的設(shè)計(jì)和使用。人機(jī)交互涵蓋多門學(xué)科，包括計(jì)算機(jī)科學(xué)，心理學(xué)，社會(huì)學(xué)，圖形設(shè)計(jì)，工業(yè)設(shè)計(jì)等，是一門綜合性非常強(qiáng)的現(xiàn)代科學(xué)。

維基百科認(rèn)為，人與計(jì)算機(jī)之間的接口對(duì)于促進(jìn)這種互動(dòng)至關(guān)重要。桌面應(yīng)用程序，互聯(lián)網(wǎng)瀏覽器，掌上電腦等利用了當(dāng)今流行的GUI。語音識(shí)別和合成系統(tǒng)利用了語音用戶界面（VUI）。新興的多模態(tài)和圖形用戶界面，則允許人們以其他界面無法實(shí)現(xiàn)的方式與具體的角色和智能體交互。

所以，人機(jī)交互領(lǐng)域的發(fā)展導(dǎo)致了交互質(zhì)量的提高，并導(dǎo)致了許多新的研究領(lǐng)域。不同的研究分支不是設(shè)計(jì)常規(guī)接口，而是專注于多模態(tài)而不是單模態(tài)的概念、智能自適應(yīng)接口而不是基于命令/操作的接口以及主動(dòng)接口而不是被動(dòng)接口的概念。

從人機(jī)交互的名字中，我們可以推導(dǎo)出它由三部分組成，即用戶，計(jì)算機(jī)本身以及它們協(xié)同工作的方式。

后來這三部分?jǐn)U展為四個(gè)基本要素，也就是用戶、任務(wù)、工具/界面和背景。

用戶，即在項(xiàng)目上一起工作的個(gè)人或一組個(gè)人稱為用戶組件。HCI研究用戶的需求，目標(biāo)和交互方式。

任務(wù)，即以目標(biāo)為導(dǎo)向的任務(wù)，使用計(jì)算機(jī)時(shí)，用戶總是有一個(gè)目的或目標(biāo)。為了實(shí)現(xiàn)這一點(diǎn)，計(jì)算機(jī)呈現(xiàn)事物的數(shù)字表示。

界面，也就是可以提高用戶交互質(zhì)量的基本HCI元素是界面。需要考慮許多與界面相關(guān)的因素，包括交互類型、屏幕分辨率、顯示尺寸，甚至顏色對(duì)比度。

背景，HCI不僅涉及在用戶和計(jì)算機(jī)之間提供更好的通信，還涉及考慮訪問系統(tǒng)的上下文和環(huán)境。

同時(shí)HCI具備六個(gè)目標(biāo)，分別是高效使用（效率）、 安全使用（安全）、 具有良好的效用（實(shí)用性）、 易于學(xué)習(xí)（可學(xué)習(xí)性）以及易于記憶如何使用（可記憶性）。

在此基礎(chǔ)上，也衍生出了HCI的7個(gè)設(shè)計(jì)原則，如下：

原則1：公平使用；

原則2：使用靈活；

原則3：簡(jiǎn)單直觀地使用；

原則4：可感知的信息；

原則5：容錯(cuò)能力；

原則6：低體力勞動(dòng)；

原則7：接近和使用的大小和空間。

在具體應(yīng)用中，物聯(lián)網(wǎng)、眼動(dòng)追蹤技術(shù)、語音識(shí)別技術(shù)、AR/VR的使用以及云計(jì)算等，都是非常典型的人機(jī)交互案例。

HCI發(fā)展史以及大量觀點(diǎn)及案例證明，技術(shù)可以明顯改善HCI。

伴隨著通訊與信息技術(shù)的突破與發(fā)展，它們持續(xù)為HCI帶來明顯的影響與改善。比如這些年借助AI技術(shù)蓬勃發(fā)展的RPA，就為業(yè)務(wù)流程自動(dòng)化以及辦公業(yè)務(wù)場(chǎng)景帶來了極大的人機(jī)交互帶來體驗(yàn)改善。

人機(jī)交互與RPA

前文我們提到，人機(jī)交互的目標(biāo)是使計(jì)算機(jī)能夠更好地適應(yīng)人的需求，提供更友好、更智能、更自然的交互方式，如語音識(shí)別、圖像識(shí)別、自然語言處理、手勢(shì)控制等。

RPA是一種利用軟件機(jī)器人模擬人類操作的技術(shù)，它可以通過用戶界面與企業(yè)的應(yīng)用系統(tǒng)交互，并完成預(yù)期任務(wù)的技術(shù)。

當(dāng)代RPA還融合了人工智能（AI）和機(jī)器學(xué)習(xí)（ML）相結(jié)合，實(shí)現(xiàn)智能流程自動(dòng)化（IPA），處理更復(fù)雜的用例，如自然語言處理（NLP）、計(jì)算機(jī)視覺（CV）和數(shù)據(jù)分析等。

RPA可以實(shí)現(xiàn)重復(fù)性、基于規(guī)則的工作流程的自動(dòng)化，提高工作效率、準(zhǔn)確性和合規(guī)性，降低人力成本，減少錯(cuò)誤率，節(jié)省成本和時(shí)間，適用于各種重復(fù)性、標(biāo)準(zhǔn)化的業(yè)務(wù)場(chǎng)景，如財(cái)務(wù)、人力資源、供應(yīng)鏈、信息技術(shù)等。

王吉偉頻道曾在《數(shù)字化轉(zhuǎn)型時(shí)代，RPA+AI是打開人機(jī)協(xié)同的最佳方式》一文中講過，在當(dāng)代企業(yè)管理軟件系統(tǒng)以及各種自動(dòng)化工具中，從操作難度、部署周期、投資成本等角度而言，RPA可以算是廣大組織應(yīng)用人機(jī)協(xié)同最好的方式。

在這其中，RPA最大的優(yōu)勢(shì)就是降低了程序開發(fā)難度，可以讓一線的業(yè)務(wù)人員參與到簡(jiǎn)單應(yīng)用的開發(fā)之中，讓全民開發(fā)成為進(jìn)一步成為現(xiàn)實(shí)。

RPA之所以能做到這一點(diǎn)，在于它改變了程序開發(fā)的人機(jī)交互模式。使得不會(huì)編程的普通員工借助RPA工具，也能像程序員一樣開發(fā)他們需要的自動(dòng)化程序或者說軟件機(jī)器人。一方面RPA讓開發(fā)程序變得更加簡(jiǎn)單，從寫代碼變成了“拖拉拽”各種功能組件；另一方面可以讓更多的業(yè)務(wù)流程實(shí)現(xiàn)自動(dòng)化，不再需要人力去重復(fù)執(zhí)行。可以說，RPA同時(shí)改變了程序開發(fā)和業(yè)務(wù)執(zhí)行的人機(jī)交互。

所以，RPA與人機(jī)交互有著密切的聯(lián)系。因?yàn)镽PA本質(zhì)上是一種人機(jī)協(xié)同的工作模式，它需要人來定義規(guī)則、監(jiān)督執(zhí)行、優(yōu)化改進(jìn)，機(jī)器則負(fù)責(zé)執(zhí)行規(guī)則、提供反饋、學(xué)習(xí)改進(jìn)。

RPA不僅可以模擬人類的操作，還可以結(jié)合AI技術(shù)，實(shí)現(xiàn)對(duì)人類的理解和決策。比如利用OCR（光學(xué)字符識(shí)別）技術(shù)識(shí)別圖像中的文字，利用NLP技術(shù)理解語言中的意圖，利用智能決策技術(shù)制定最優(yōu)方案等。融合AI等技術(shù)的RPA，具備以下幾個(gè)優(yōu)勢(shì)：

1、有效減輕工作負(fù)擔(dān)，讓人們從繁瑣的后臺(tái)任務(wù)中解放出來，專注于更有價(jià)值的創(chuàng)新和戰(zhàn)略性的工作；

2、提高人機(jī)交互的速度和質(zhì)量，軟件機(jī)器人可以全天候地工作，不受時(shí)間、地點(diǎn)和情緒的影響，也不會(huì)犯錯(cuò)或遺漏；

3、拓展人機(jī)交互的范圍和深度，軟件機(jī)器人可以訪問和整合多個(gè)不相關(guān)的軟件系統(tǒng)，處理大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，并利用AI和ML的能力進(jìn)行學(xué)習(xí)和優(yōu)化。

由此，RPA是一種有效且典型的優(yōu)化人機(jī)交互的技術(shù)。它可以實(shí)現(xiàn)流程自動(dòng)化、智能化和優(yōu)化，為企業(yè)帶來效率、質(zhì)量和價(jià)值的提升。

LLM對(duì)人機(jī)交互的影響

LLM是一種利用神經(jīng)網(wǎng)絡(luò)在大量無標(biāo)注文本上進(jìn)行自監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)的語言模型。LLM具有海量的參數(shù)（通常為數(shù)十億或更多），能夠在多種任務(wù)上表現(xiàn)出優(yōu)異的性能。

從目前各領(lǐng)域的應(yīng)用來看，基于LLM的生成式AI技術(shù)的出現(xiàn)，為人機(jī)交互帶來了顛覆性的變化。

生成式AI給人們最直接的感觸就是，原來工作流中的好多各種軟件操作以及跨軟件操作，現(xiàn)在只需要跟生成式AI進(jìn)行幾輪對(duì)話就完成了。

比如用Midjourney生成圖片或者是ChatGPT Plus生成軟件應(yīng)用代碼，已經(jīng)完全不需要使用繪圖軟件及編程軟件。并且ChatGPT 的插件生態(tài)正在快速完善，以后將會(huì)有越來越多應(yīng)用場(chǎng)景的業(yè)務(wù)操作，只需要對(duì)話就能搞定。

這就是交互方式的改變，它直接將原有的與各種軟件UI的人機(jī)交互，變成了與一個(gè)聊天窗口進(jìn)行交互，是一種前所未有的交互體驗(yàn)。

總結(jié)起來，LLM或者說生成式AI對(duì)人機(jī)交互產(chǎn)生了以下幾點(diǎn)影響：

首先，提高了人機(jī)交互的效率、質(zhì)量和便利性。通過生成式AI，用戶可以快速獲取想要的信息或服務(wù)，不需要花費(fèi)大量的時(shí)間和精力。同時(shí)LLM可以根據(jù)用戶輸入和上下文生成合適的回復(fù)，減少用戶輸入負(fù)擔(dān)，提高交互流暢性和自然性。此外，生成式AI還可以根據(jù)用戶的反饋和偏好，動(dòng)態(tài)地調(diào)整自己的輸出，以達(dá)到更好的交互效果。

比如ChatGPT可以幫助用戶完成寫作、設(shè)計(jì)、編程等復(fù)雜的任務(wù)，或者為用戶提供個(gè)性化的推薦、咨詢、娛樂等內(nèi)容。

其次，增加人機(jī)交互的多樣性和創(chuàng)造性。LLM可以根據(jù)用戶需求和偏好生成不同風(fēng)格的文本、音頻、視頻等內(nèi)容，滿足用戶的個(gè)性化和多元化的需求。通過生成式AI，用戶可以接觸和選擇更多的內(nèi)容，從而拓展視野和思維。當(dāng)然，生成式AI也可以與用戶進(jìn)行更深入和靈活的對(duì)話，滿足用戶不同的情感和情緒需求。

比如通過生成式AI為用戶提供不同風(fēng)格和主題的文本、圖像、音樂等，或者為用戶生成一些新穎和有趣的內(nèi)容，如詩(shī)歌、故事、笑話等。

第三，改變?nèi)藱C(jī)交互的關(guān)系和意義。通過生成式AI，用戶可以與人工智能建立更緊密和信任的聯(lián)系，甚至產(chǎn)生一種共創(chuàng)與合作的感覺。

基于LLM的聊天機(jī)器人，可以為用戶提供更多的反饋和建議，或者與用戶共享自己的想法和感受。生成式AI還可以讓用戶更加了解自己和人工智能的優(yōu)勢(shì)和局限，以及如何更好地利用和發(fā)展它們。第四，拓展人機(jī)交互的領(lǐng)域和場(chǎng)景。ChatGPT等生成式AI應(yīng)用具有強(qiáng)大的適應(yīng)性和泛化性，可以應(yīng)用于各種不同的領(lǐng)域和場(chǎng)景，如教育、娛樂、醫(yī)療、商業(yè)等。無論用戶想要學(xué)習(xí)、游戲、咨詢、購(gòu)物等，都可以通過與ChatGPT等應(yīng)用交流來達(dá)到目的。

第五，增強(qiáng)人機(jī)交互的趣味性和親切感。基于LLM的生成式AI應(yīng)用具有豐富的知識(shí)和個(gè)性，可以根據(jù)用戶的興趣和情緒來調(diào)整自己的語言風(fēng)格和話題，甚至可以生成一些幽默、詩(shī)歌、故事等創(chuàng)意內(nèi)容來娛樂用戶。

這樣，用戶不會(huì)感到與機(jī)器人交流是一件枯燥無味的事情，而會(huì)覺得與機(jī)器人交流是一件有趣和溫馨的事情。

LLM對(duì)人機(jī)交互有著重要而復(fù)雜的影響，使得它在各個(gè)領(lǐng)域都有著巨大發(fā)展?jié)摿�和行業(yè)應(yīng)用價(jià)值。廣大組織應(yīng)該積極地探索和利用LLM以及生成式AI，提升人機(jī)交互的水平和體驗(yàn)，提高人機(jī)交互效率和質(zhì)量，增強(qiáng)人機(jī)交互關(guān)系，拓展人機(jī)交互的領(lǐng)域和場(chǎng)景。

當(dāng)然，我們也應(yīng)該注意其帶來的風(fēng)險(xiǎn)和挑戰(zhàn)，以及如何合理地使用和監(jiān)督它。

需要說明的是，目前基于大語言模型的生成式AI正在與RPA快速融合，生成式AI將會(huì)為RPA的人機(jī)交互帶來質(zhì)的飛躍。

LLM改變RPA人機(jī)交互

RPA可以自動(dòng)化執(zhí)行重復(fù)性、規(guī)則性和低價(jià)值的業(yè)務(wù)流程，可以提高效率、降低成本和減少錯(cuò)誤。但它也面臨著一些挑戰(zhàn)和局限性，比如難以處理復(fù)雜、多變和高價(jià)值的業(yè)務(wù)場(chǎng)景，以及難以適應(yīng)業(yè)務(wù)流程的變化，需要不斷地維護(hù)和更新，難以處理復(fù)雜的、非結(jié)構(gòu)化的、需要?jiǎng)?chuàng)造性或判斷力的任務(wù)等。

雖然超自動(dòng)化架構(gòu)已經(jīng)讓RPA的運(yùn)行足夠穩(wěn)定，但對(duì)于復(fù)雜流程而言也會(huì)存在穩(wěn)定運(yùn)行的隱患。

之前廠商們想盡各種辦法解決這些問題，但無法從根本上杜絕這些問題。直到基于LLM的生成式AI橫空出世，一下就解決了之前RPA遇到的多重難題。

對(duì)于LLM如何影響RPA，王吉偉頻道（id：jiwei1122）已經(jīng)在《GPT等AI大模型震撼來襲，基于RPA的超級(jí)自動(dòng)化仍是最佳落地載體》一文中有過詳細(xì)介紹。這里，再簡(jiǎn)單說說LLM如何改變RPA的人機(jī)交互。

LLM可以為RPA提供更強(qiáng)大的自然語言處理能力，提供更強(qiáng)大的知識(shí)獲取和推理能力，以及提供更強(qiáng)大的生成和創(chuàng)造能力。

具體而言，LLM對(duì)于RPA人機(jī)交互的影響可以體現(xiàn)于以下幾個(gè)方面：

提高RPA的智能水平。應(yīng)用LLM，能夠更好地識(shí)別和理解用戶的自然語言輸入以及生成自然語言，更好地滿足用戶的需求和意圖。還可以根據(jù)上下文和目標(biāo)生成合適的操作步驟，進(jìn)行多輪對(duì)話和推理，處理更復(fù)雜和多樣的業(yè)務(wù)場(chǎng)景，實(shí)現(xiàn)更復(fù)雜和靈活的業(yè)務(wù)流程自動(dòng)化。

用戶可以通過語音或文字與RPA進(jìn)行對(duì)話，告訴它要執(zhí)行什么任務(wù)，而不需要通過復(fù)雜的編程或拖拽組件來設(shè)計(jì)流程。

此外，LLM也可以幫助RPA進(jìn)行知識(shí)抽取和推理，從而提供更有價(jià)值的信息和建議。

擴(kuò)展RPA的應(yīng)用范圍。LLM可以有效擴(kuò)大RPA的應(yīng)用范圍，讓軟件機(jī)器人能夠處理更多涉及自然語言的任務(wù)，比如文本分類、文本摘要、文本生成、機(jī)器翻譯、問答系統(tǒng)等。也可以通過與其他模態(tài)的數(shù)據(jù)進(jìn)行交互，比如圖像、音頻、視頻等，從而實(shí)現(xiàn)更豐富和多維的業(yè)務(wù)流程。

LLM還可以讓軟件機(jī)器人能夠與其他AI技術(shù)如OCR、NLP、低代碼、流程挖掘、chatbot等進(jìn)行集成和協(xié)作，實(shí)現(xiàn)超級(jí)自動(dòng)化。

通過使用LLM，RPA可以跨越語言和文化的障礙，服務(wù)更廣泛和多元的客戶和市場(chǎng)。增加RPA的創(chuàng)新潛力。LLM可以增強(qiáng)RPA的創(chuàng)造力和靈活性，使其能夠根據(jù)不同的場(chǎng)景和數(shù)據(jù)生成適合的文本，如報(bào)告、摘要、建議等。例如，RPA可以根據(jù)用戶提供的關(guān)鍵詞或主題，自動(dòng)生成一篇博客文章，并在文章中插入相關(guān)的圖片、視頻、鏈接等。

通過使用LLM，RPA可以進(jìn)行更靈活和自適應(yīng)的學(xué)習(xí)和生成，產(chǎn)生更多新穎和有趣的內(nèi)容和方案。LLM也可以與人類進(jìn)行更有效和友好的協(xié)作和溝通，激發(fā)更多的創(chuàng)意和靈感。

提升RPA的開發(fā)效率。生成式AI可以讓用戶通過簡(jiǎn)單的語言描述來定義和修改業(yè)務(wù)流程，而不需要編寫復(fù)雜的代碼或者使用圖形化界面。并可以根據(jù)用戶的反饋和數(shù)據(jù)分析來優(yōu)化和調(diào)整業(yè)務(wù)流程，實(shí)現(xiàn)持續(xù)改進(jìn)。優(yōu)化RPA交互體驗(yàn)和用戶滿意度。融合LLM的RPA能夠與用戶進(jìn)行更加自然、友好、有趣的對(duì)話，增加用戶的信任和參與感。RPA可以根據(jù)用戶的情緒和興趣，調(diào)整語氣和風(fēng)格，甚至講一些幽默或者引用一些名人名言來調(diào)節(jié)氣氛。

擴(kuò)展閱讀：ChatGPT與RPA集成，生成式AI+自動(dòng)化流程讓AIGC價(jià)值倍增當(dāng)然，LLM對(duì)RPA人機(jī)交互的影響不只是智能、效率和創(chuàng)新層面的，它還直接影響了RPA的軟件架構(gòu)變化。

后記：LLM影響下的RPA架構(gòu)變遷

在LLM之前，RPA已經(jīng)極大地改善了程序開發(fā)以及流程自動(dòng)化的人機(jī)交互。并且，很多廠商都已經(jīng)打出了“RPA人人可用”的概念。在這個(gè)概念的背后，其實(shí)就是RPA的易用性越來越強(qiáng)，應(yīng)用它開發(fā)程序并實(shí)施流程自動(dòng)化越發(fā)簡(jiǎn)單。在易用性方面，從CV到屏幕抓取再到AI模型，廠商們做了大量的探索與嘗試。在RPA的程序開發(fā)環(huán)節(jié)上，基于AI、0代碼等技術(shù)，RPA正在逐步擺脫原有的“拖拉拽”形式，向“點(diǎn)選用”以及對(duì)話式（包括語音驅(qū)動(dòng)）流程創(chuàng)建的方式過渡。

在人機(jī)交互上，對(duì)話式流程創(chuàng)建，可以說是RPA乃至超自動(dòng)化的終極狀態(tài)。未來我們要使用超自動(dòng)化，只要在系統(tǒng)內(nèi)打幾行字或者說一句話就能創(chuàng)建各種軟件機(jī)器人或者自動(dòng)化程序。

但是之前的對(duì)話式創(chuàng)建，僅適用于簡(jiǎn)單的預(yù)設(shè)置流程。稍微復(fù)雜的流程便無能為力，或者需要更多流程步驟去觸發(fā)和調(diào)動(dòng)更多流程才能實(shí)現(xiàn)。流程的健壯性難以經(jīng)受考驗(yàn)，并且用戶必須熟悉相應(yīng)語法及指令才能使用。

在應(yīng)用體驗(yàn)上，仍然存在一些不足或者說進(jìn)步空間。

LLM出現(xiàn)之后，對(duì)于融合生成式AI的RPA產(chǎn)品，用戶使用自然語言都能驅(qū)動(dòng)RPA去創(chuàng)建流程。并且生成式AI以生成內(nèi)容的形式彌補(bǔ)RPA在情緒識(shí)別、非結(jié)構(gòu)化數(shù)據(jù)處理等方面的不足，可以讓任何人無需太多學(xué)習(xí)就能更加簡(jiǎn)單、快速、高效的驅(qū)動(dòng)RPA開發(fā)各種自動(dòng)化程序，真正讓RPA實(shí)現(xiàn)了人人可用。

擴(kuò)展閱讀：多家廠商引入ChatGPT，集成與融合生成式AI成為RPA技術(shù)新趨勢(shì)以前使用RPA，是人直接操作RPA通過托拉拽搭積木的方式搭建各種程序。現(xiàn)在則是人通過自然語言與GPT等生成式AI溝通，多模態(tài)AI在理解人類操作意圖后，進(jìn)一步驅(qū)動(dòng)RPA連接企業(yè)管理軟件去自動(dòng)化執(zhí)行各種業(yè)務(wù)流程。

GPT等AI大模型則進(jìn)一步連接了人與RPA等系統(tǒng)，向上連接人的意圖，向下指揮RPA機(jī)器人，成為人和RPA等自動(dòng)化系統(tǒng)之間的一個(gè)紐帶，讓程序開發(fā)與自動(dòng)化流程的操作更加簡(jiǎn)單。GPT把人和基于RPA的超自動(dòng)化連接起來，這是人機(jī)交互體驗(yàn)上一個(gè)巨大的進(jìn)步。

在王吉偉頻道看來，從過去的“人+RPA”到現(xiàn)在的“人+生成式AI+RPA”，引入LLM以及集成生成式AI，表面看是極大地提升了RPA產(chǎn)品的人機(jī)交互，本質(zhì)上是LLM影響了RPA的架構(gòu)變化。

現(xiàn)在幾乎所有廠商都在重度研究LLM與RPA以及超自動(dòng)化的全面融合，RPA都已在產(chǎn)品架構(gòu)中加入了模型層。這意味著，不管是調(diào)用第三方模型還是自研模型，RPA都已成為標(biāo)準(zhǔn)的模型層上的應(yīng)用。

可以預(yù)見，接下來隨著LLM成為RPA的標(biāo)配，它也將全面變革大模型時(shí)代的RPA。

【王吉偉頻道，關(guān)注AIGC與IoT，專注數(shù)字化轉(zhuǎn)型、業(yè)務(wù)流程自動(dòng)化與RPA，歡迎關(guān)注與交流。】

       原文標(biāo)題 : 大模型時(shí)代來臨，基于LLM的生成式AI正在快速變革RPA人機(jī)交互