訂閱
糾錯(cuò)
加入自媒體

GPT-4,下周到來!

自從整合進(jìn)ChatGPT后必應(yīng)一路開掛,昨日,必應(yīng)日活用戶破億的喜訊傳開。微軟野心不止于此,它希望ChatGPT融入各種軟件生態(tài),不禁加快了技術(shù)升級動作。

就在當(dāng)天,微軟德國首席技術(shù)官 Andreas Braun 在一場會議上提到了將于下周發(fā)布GPT-4。
ChatGPT 的內(nèi)核即將從 GPT-3 升級為 GPT-4 ,參數(shù)規(guī)?赡懿⒉粫 GPT-3 大很多,但關(guān)鍵細(xì)節(jié)是,GPT-4 是多模態(tài)的。

多模態(tài)版 GPT-4 下周到來

2023年3月9日的“AI in Focus - Digital Kickoff”的會議主題是介紹微軟展示幾款類如GPT一樣牛逼的大型語言模型(LLM)產(chǎn)品的。

在展開對Azure-OpenAI 產(chǎn)品介紹時(shí),由于 GPT-4  相關(guān)關(guān)注熱情過高,微軟德國首席技術(shù)官 Andreas Braun 對 GPT 的發(fā)布時(shí)間進(jìn)行了回應(yīng):它快來了,下周。

德國微軟是 OpenAI 的重要合作伙伴,在關(guān)于GPT-4傳言回應(yīng)可以說是最接近官方的。
從三月初 Kosmos-1發(fā)布以來,微軟就再不斷用 OpenAI 對多模態(tài)進(jìn)行微調(diào)。Andreas Braun 提到了即將發(fā)布的數(shù)據(jù),諸多信息在官宣前還要保密,但可以透露的是,GPT-4將是多模態(tài)的。
網(wǎng)傳GPT-3和GPT-4的區(qū)別
之前就有業(yè)務(wù)消息流出,OpenAI 在 beta 測試版 GPT-4 中采用了更強(qiáng)大的大語言模型,相較前代 GPT-4 可能不會有參數(shù)量上的顯著上升,但會在其他方向?qū)で筇岣,“OpenAI 也確實(shí)在開發(fā)一款通過文字能生成視頻的 AI 模型”。
這意味著,GPT-4 不單單可以生成文字,還可以生成語音,圖像,視頻。這對于 ChatGPT 只能夠生成文本的進(jìn)步幅度是顯著的。
本內(nèi)容( LLM)的 ChatGPT 相比,Kosmos-1 屬于多模態(tài)大型語言模型(MLLM),目前能同時(shí)理解文字與圖像內(nèi)容,GPT-4的多模態(tài)可謂令人期待。

GPT-1到GPT-4的發(fā)展歷程

近兩年的時(shí)間里,Chat GPT-1到GPT-4在目標(biāo)和概念、使用的數(shù)據(jù)集、模型架構(gòu)和實(shí)現(xiàn)細(xì)節(jié)歷經(jīng)了四次迭代。
GPT-1 通過生成預(yù)訓(xùn)練(GPT-1)提高語言理解,但監(jiān)督模型有兩個(gè)限制——大量注釋數(shù)據(jù)來學(xué)習(xí)通常不容易獲得的特定任務(wù);也無法概括自己所接受訓(xùn)練以外的任務(wù)。該模型顯示了生成性預(yù)訓(xùn)練的力量,并為其他模型開辟了道路,這些模型可以通過更大的數(shù)據(jù)集和更多的參數(shù)更好地釋放這種潛力。
GPT-2 使用更大的數(shù)據(jù)集和向模型中添加更多參數(shù)以學(xué)習(xí)更強(qiáng)大的語言模型方面,但GPT-2對WebText數(shù)據(jù)集的擬合不足,需要減少困惑并使語言模型更好地理解自然語言。
GPT-3 是少樣本學(xué)習(xí)者語言模型,能夠生成高質(zhì)量的文本,但有時(shí)它會在制定長句子時(shí)開始失去連貫性,并一遍又一遍地重復(fù)文本序列。
GPT-4 將能更準(zhǔn)確地推斷用戶的意圖。GPT-4 不需要比 GPT-3 大很多就可以更強(qiáng)大。語言模型的最大缺點(diǎn)之一是用于訓(xùn)練的資源。公司通常決定以較低的價(jià)格交換準(zhǔn)確性,從而導(dǎo)致 AI 模型明顯未優(yōu)化。

微軟GPT 是業(yè)內(nèi)一條鯰魚

微軟的 ChatGPT 對業(yè)內(nèi)無疑是一條投進(jìn)沙丁魚群的鯰魚,迅速引發(fā)了魚群應(yīng)激。
行業(yè)老大哥谷歌手握類ChatGPT技術(shù)兩年,由于發(fā)生了幾次類如谷歌 Bard 聊天機(jī)器人公開演示中犯錯(cuò)導(dǎo)致股價(jià)大跌的事情后,團(tuán)隊(duì)變得過度謹(jǐn)慎,放緩了產(chǎn)品化和商品化進(jìn)度,結(jié)果一次次被微軟 OpenAI 搶先。
OpenAI實(shí)力和運(yùn)氣都顯得很好。選擇去年11月底推出ChatGPT是個(gè)明智之舉,22年初期演示的時(shí)候還是GPT-3.0,年底推出了GPT-3.5,3.0到3.5做了很多優(yōu)化,例如CoT(思維鏈,Chain of Thought)能力,一經(jīng)面世給了用戶很多驚喜。
昨日微軟必應(yīng)發(fā)布喜訊,稱日活用戶破億。搜索領(lǐng)域一直被谷歌制霸,微軟歷經(jīng)數(shù)年疲軟,此次增長十分振奮士氣。
這讓諸多廠家看到了希望,先是原來手握大語言模型主動權(quán)的谷歌和微軟差點(diǎn)打起來;比爾·蓋茨、埃隆·馬斯克、英偉達(dá)CEO黃仁勛等大佬也緊密關(guān)注動向;國內(nèi)Baidu、Alibaba、網(wǎng)易、360、字節(jié)等大廠爭相布局;創(chuàng)投圈也都做著“一朝人工智障變人工智能”的美夢“看好就投”。
就在昨日維科網(wǎng)人工智能還報(bào)道了美團(tuán)王興投資好友做GPT相關(guān)方向的創(chuàng)業(yè)。
微軟德國首席技術(shù)官 Andreas Braun 稱微軟在做的大語言模型是“游戲改變者”,它們教會機(jī)器理解自然語言,它將向著擁有人類的解釋能力這一目標(biāo)進(jìn)步。
微軟目前運(yùn)氣不錯(cuò),至于會不會被谷歌或后起之秀的廠商偷家?也許這波熱浪稍微降溫之后會看得更清楚,過熱會盲判。


聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點(diǎn)?帽菊靖寮,務(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個(gè)字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號