訂閱
糾錯(cuò)
加入自媒體

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

就跟數(shù)碼圈(juan)發(fā)新機(jī),每次都要對(duì)比iPhone一樣。每次有新大模型發(fā)布,GPT-4都要被拉出來鞭尸。

贏不贏的,圖個(gè)樂吧。

不管你關(guān)不關(guān)注AI動(dòng)態(tài),這兩天鋪天蓋地的報(bào)道,你也能知道谷歌推出了全新的AI大模型——Gemini。并且,再一次“吊打了”宿敵OpenAI的“地表最強(qiáng)”GPT-4。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:Google

(我為什么要說“再”?)

谷歌造假了?

這次Gemini的關(guān)注度,一點(diǎn)也不亞于OpenAI內(nèi)亂的時(shí)候。畢竟谷歌之前是打算早點(diǎn)發(fā)布Gemini的,就是打的“趁你病要你命”的主意。奈何團(tuán)隊(duì)拉胯的進(jìn)度,最后Gemini不得不延期。

提前也好,延期也罷。Gemini最后還是發(fā)布了,而且谷歌信心滿滿,儼然一副“GPT你好日子到頭了”的架勢。賬面數(shù)據(jù)和測試結(jié)果,也是一路默秒全。

而且谷歌還放出來一段6分鐘一鏡到底的視頻,坐等被夸“好牛X”“666”……

但是這時(shí)候有人跳出來說,谷歌你這演示視頻造假了吧?

有人質(zhì)疑說,這段所謂的一鏡到底,其實(shí)是經(jīng)過篩選、剪輯拼接起來的,根本不是實(shí)時(shí)錄制。

隨后,官方表示稱,視頻確實(shí)是有后期制作和剪輯的成分。根據(jù)官方的一份技術(shù)聲明,Gemini所有的這些交互都不是實(shí)時(shí)感知到的,而是通過提示詞問出來的。

這不能說跟演示視頻一毛一樣,根本是八竿子打不著吧。比如“石頭、剪刀、布”游戲,不是Gemini看懂了游戲規(guī)則,而是識(shí)別出了三張圖,并做出了推理。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:Google

而對(duì)“鴨子簡筆畫”的每一個(gè)筆畫的識(shí)別能力,以及對(duì)顏色的看法,也不全是真的。谷歌DeepMind產(chǎn)品副總裁伊萊·柯林斯(Eli Collins)回應(yīng)說,這個(gè)能力目前還是研究級(jí)別的,至少目前還沒有出現(xiàn)在谷歌的實(shí)際產(chǎn)品中。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:YouTube

原來讓人直呼“vocal”的感知能力,結(jié)果還是識(shí)別、提示加引導(dǎo)。這讓很多人表示,谷歌你這是在誤導(dǎo)和欺騙大眾!

眼看著輿論有反噬的苗頭,谷歌最后還是慫了,在油管的演示視頻底下,標(biāo)注了免責(zé)聲明:為了演示的目的,已經(jīng)減少延遲,為了簡潔,Gemini 的輸出也縮短了。

對(duì)比數(shù)據(jù)上“做手腳”

如果單純就是視頻做了“藝術(shù)”加工,也就還好。畢竟現(xiàn)在圈子里這么干的,不在少數(shù)。但是,谷歌還在其他對(duì)比GPT-4的結(jié)果上,搞了點(diǎn)小貓膩。

有人就發(fā)現(xiàn),在谷歌曬出的MMLU 測試結(jié)果中,Gemini的結(jié)果下面有一行灰色小字,標(biāo)注著“CoT@32”。

這是谷歌自己的“獨(dú)家秘籍”,明顯有利于Gemini,可想而知GPT-4的成績好不了哪里去。

還有人詬病圖示比例尺離譜,很小的差距,被做出了天差地別的視覺效果。

谷歌你這就不太厚道了吧。

而且圖上GPT-4最明顯的成績,用的測試方法和Gemini不一樣。

隨后,知名開源社區(qū)HuggingFace的技術(shù)主管Philipp Schmid用技術(shù)報(bào)告中披露的數(shù)據(jù)修復(fù)了結(jié)果對(duì)比圖,結(jié)果顯示:

讓Gemini Ultra 和 GPT-4 跑在同一標(biāo)準(zhǔn)下,那Gemini的得分就只有 83.7 ,甚至還不如 GPT-4 。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:X(原推特)

此外,谷歌在發(fā)布會(huì)上宣稱,Gemini三個(gè)版本(Ultra、Pro、Nano),其中Ultra全面超越 GPT-4,Pro在大多數(shù)指標(biāo)上超越GPT-3.5。

但隨后有人經(jīng)過測試發(fā)現(xiàn),一道8年級(jí)的故事題,GPT-3.5拿了滿分,Gemini Pro則是一塌糊涂。不過,該測試也就圖一樂,畢竟變量控制和細(xì)節(jié)并不完善,不像專業(yè)的測試數(shù)據(jù)那樣準(zhǔn)確。

谷歌發(fā)布Gemini時(shí)還提到,后續(xù)Bard將接入微調(diào)版的Gemini Pro,這樣一來,跟接入GPT3.5和GPT4的ChatGPT做一番對(duì)比,就變得更容易了。有興趣的朋友可以去嘗試一下。

雖有質(zhì)疑,但股價(jià)上漲

對(duì)此外界輿論,谷歌DeepMind研究和深度學(xué)習(xí)負(fù)責(zé)人副總裁奧里奧爾·維尼亞爾斯(Oriol Vinyals)表示,“我們這樣做是為了激勵(lì)開發(fā)人員”。但很明顯,大部分人并不買賬。

甚至有谷歌的員工表示,對(duì)于公司這種夸大宣傳,早就習(xí)慣了。而且本身谷歌進(jìn)度落后于OpenAI,所以有點(diǎn)著急也是理所應(yīng)當(dāng)?shù)摹?/p>

當(dāng)然,做人還是要體面一點(diǎn)。

圖源:網(wǎng)絡(luò)

不過,谷歌倒也不是一無所有。在谷歌發(fā)布Gemini之后,12月7日,谷歌母公司Alphabet(Nasdaq:GOOG)的股價(jià)漲5.31% ,收于136.93美元,迎來自今年8月29日以來表現(xiàn)最好的一天,總市值達(dá)到1.72萬億美元 。

要知道,當(dāng)時(shí)在發(fā)布Bard時(shí),谷歌的股價(jià)一天跌去了1000億美元。

雖然要求Gemini超越GPT-4有點(diǎn)苛刻,但誰讓谷歌把牛吹這么大呢,所以什么輿論結(jié)果都得受著。具體Gemini最后能進(jìn)化到什么程度,還得看后續(xù)的進(jìn)展。

那么,嘗試過Gemini和ChatGPT的你,覺得效果如何?Gemini有希望超越GPT4嗎?

聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點(diǎn)?帽菊靖寮,務(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)