作者：文子

Gemini對(duì)谷歌來(lái)說(shuō)可能走了一大步，但對(duì)整個(gè)AI領(lǐng)域而言，并沒(méi)有說(shuō)的那么夸張。

涉嫌虛假宣傳，交互非實(shí)時(shí)感知

才短短一天時(shí)間，谷歌Gemini就被曝涉嫌造假，夸大宣傳。

作為谷歌用來(lái)應(yīng)對(duì)GPT-4的“殺手锏”，Gemini一經(jīng)亮相就有了兩個(gè)碩大的標(biāo)簽：超過(guò)人類(lèi)專(zhuān)家，碾壓GPT-4。隨便單拎一條出來(lái)，都是目前其他大模型所不能比擬的成績(jī)。

但也有越來(lái)越多的人開(kāi)始質(zhì)疑它的真實(shí)性，彭博社的Parmy Olsen就是第一個(gè)質(zhì)疑視頻造假的人。

就在大家震驚于谷歌發(fā)布的6分鐘互動(dòng)視頻里，他指出，Gemini所有交互都不是實(shí)時(shí)感知的，存在后期制作和剪輯配音的成分。隨后這一說(shuō)法也得到了谷歌官方的證實(shí)，承認(rèn)Gemini的確使用了靜態(tài)圖片和多段提示詞拼湊，才能達(dá)成這樣的效果。

簡(jiǎn)單來(lái)說(shuō)就是，Gemini不能直接看懂一段動(dòng)作視頻，只能看懂多張圖片。像演示視頻里人類(lèi)在玩石頭剪刀布，實(shí)際上是把“布”“拳頭”“剪刀”三張照片依次傳給Gemini，然后加上良好的提示詞，才能讓Gemini給出回答，然后再由員工配音念出來(lái)。

而且視頻中展示的許多其他功能并不是谷歌獨(dú)有的，GPT Plus3也可以做得到，沃頓商學(xué)院教授伊森·莫里克（Ethan Mollick）就用實(shí)驗(yàn)證實(shí)了這一點(diǎn)。

雖然從技術(shù)原理上來(lái)看，能夠讀取圖片和能夠看懂視頻之間，并沒(méi)有技術(shù)上的鴻溝。但是從產(chǎn)品實(shí)現(xiàn)落地的角度看，把讀取圖片約等于能實(shí)時(shí)看懂視頻，過(guò)于強(qiáng)調(diào)實(shí)時(shí)性而壓縮了交互過(guò)程中的延遲，這幾乎已經(jīng)可以理解為虛假宣傳。而是否需要良好的提示詞工程，更是評(píng)價(jià)模型能力的關(guān)鍵問(wèn)題。

混淆跑分，GPT4測(cè)試標(biāo)準(zhǔn)不一致

從谷歌對(duì)Gemini的宣傳信息來(lái)看，它聲稱(chēng)Gemini在32項(xiàng)標(biāo)準(zhǔn)性能指標(biāo)中，有30 項(xiàng)指標(biāo)都優(yōu)于GPT-4，跑出90%的高分，超過(guò)GPT-4。但實(shí)際上，差距微乎其微，而且這種比較并不公平。

Gemini Ultra的90%得分是基于谷歌研究人員開(kāi)發(fā)的一種基于32個(gè)樣本的思維鏈的方法。對(duì)于同一個(gè)問(wèn)題，Gemini Ultra會(huì)生成32個(gè)答案以及這些答案的推理。然后，模型會(huì)選擇最常見(jiàn)的答案作為最終答案。

但GPT-4的86.4%分?jǐn)?shù)是基于行業(yè)評(píng)估標(biāo)準(zhǔn)5-shot。HuggingFace技術(shù)主管Philipp Schmid特意從Gemini的技術(shù)報(bào)告中提取數(shù)據(jù)重做計(jì)算，在5-shot的標(biāo)準(zhǔn)下，Gemini的得分實(shí)為83.7%，比GPT-4更低。

也就是說(shuō)只有CoT（思維鏈）達(dá)到32個(gè)例子時(shí)，Gemini Ultra才能達(dá)到90分超過(guò)GPT-4；當(dāng)例子數(shù)量減少到5個(gè)，Gemini Ultra得分就不如GPT-4。難怪連谷歌公司高管在之前都回避了關(guān)于該模型比GPT-4 強(qiáng)多少的問(wèn)題，因?yàn)樗鼈冎皇?ldquo;強(qiáng)”在了不同的標(biāo)準(zhǔn)上。

就像谷歌在5月份發(fā)布Palm-2的時(shí)候，也挑出了兩個(gè)優(yōu)于GPT-4的指標(biāo)，但是后來(lái)這個(gè)大模型怎么樣，大家都清楚。

斯坦福大學(xué)基礎(chǔ)模型研究中心主任 Percy Liang也談到，雖然Gemini有很好的基準(zhǔn)分?jǐn)?shù)，但由于不知道訓(xùn)練數(shù)據(jù)的內(nèi)容，因此很難解釋這些數(shù)據(jù)。華盛頓大學(xué)計(jì)算語(yǔ)言學(xué)教授 Emily Bender也指出，谷歌宣傳Gemini是一臺(tái)萬(wàn)能機(jī)器，是一個(gè)可用于多種不同用途的通用模型。但是谷歌卻在使用狹隘的基準(zhǔn)，來(lái)評(píng)估它期望用于這些不同用途的模型，這意味著它實(shí)際上無(wú)法得到徹底評(píng)估。

倉(cāng)促上陣，只為趁OpenAI動(dòng)蕩搞事？

今年3月，OpenAI發(fā)布GPT人工智能模型，并推出其支持的付費(fèi)聊天AI機(jī)器人ChatGPT，這其實(shí)對(duì)谷歌來(lái)說(shuō)壓力很大。

畢竟谷歌已經(jīng)耗費(fèi)了數(shù)年心血，在人工智能領(lǐng)域投入巨資研究，卻沒(méi)想到被半路殺出來(lái)的OpenAI彎道超車(chē)。

所以在4月，谷歌迫于投資方的巨大壓力，將負(fù)責(zé)人工智能研究的Google Brain，與母公司Alphabet位于倫敦的人工智能研究實(shí)驗(yàn)室DeepMind合并，為了在今年接下來(lái)的時(shí)間里研發(fā)Gemini模型來(lái)回應(yīng)GPT-4的挑戰(zhàn)。

而在兩周前，OpenAI剛剛重新任命了奧特曼為首席執(zhí)行官，并任命了新的董事會(huì)成員，勉強(qiáng)給這家初創(chuàng)公司的一段動(dòng)蕩期畫(huà)上了句號(hào)。這場(chǎng)內(nèi)斗事件也促使一些客戶(hù)開(kāi)始評(píng)估其他AI提供商，谷歌選擇在這個(gè)時(shí)間點(diǎn)推出Gemini的心思不言而喻。

據(jù)報(bào)道，當(dāng)OpenAI董事會(huì)暫時(shí)罷免首席執(zhí)行官奧特曼，使公司的未來(lái)發(fā)展受到質(zhì)疑時(shí)，谷歌迅速發(fā)起了一場(chǎng)營(yíng)銷(xiāo)活動(dòng)，說(shuō)服OpenAI企業(yè)客戶(hù)轉(zhuǎn)向谷歌�，F(xiàn)在，隨著Gemini的發(fā)布，谷歌也正是在利用這種不確定性。

然而，目前大多數(shù)人還是不能完整地體驗(yàn)Gemini。最強(qiáng)大的對(duì)標(biāo)GPT-4的滿(mǎn)血版Gemini Ultra，還需要等待幾個(gè)月才能和公眾見(jiàn)面。據(jù)谷歌高管的說(shuō)法，預(yù)計(jì)將于明年初上市。而現(xiàn)在推出的版本是為谷歌基于文本的搜索聊天機(jī)器人Bard的后臺(tái)，為其提供更高級(jí)的推理、規(guī)劃和理解能力。

在接下來(lái)的幾個(gè)月里，新的Gemini增強(qiáng)版Bard會(huì)在170多個(gè)國(guó)家提供英語(yǔ)版本的首發(fā)，不包括歐盟和英國(guó)。谷歌負(fù)責(zé)Bard的副總裁Sissie Hsiao表示，這是因?yàn)楣�司需要與當(dāng)?shù)乇O(jiān)管機(jī)構(gòu)“接軌”。除此之外，Gemini還有一個(gè)名為Nano的版本，可以直接在設(shè)備上運(yùn)行的，例如谷歌的新款Pixel手機(jī)。

谷歌VS OpenAI：瑜亮之爭(zhēng)鹿死誰(shuí)手？

12月7日，隨著Gemini的高調(diào)發(fā)布，谷歌市值一晚就增加逾870億美元，增量相當(dāng)于OpenAI的最新估值。就目前來(lái)說(shuō)，未上市的OpenAI估值在800億至900億美元之間。

要知道，今年以來(lái)谷歌的股價(jià)已經(jīng)上漲了逾50%，大幅跑贏(yíng)了納斯達(dá)克綜合指數(shù)，但卻落后于一些科技同行，里面就包括OpenAI最大的投資方微軟。

事實(shí)上，谷歌在過(guò)去的發(fā)展歷史中已經(jīng)吃過(guò)很多次苦頭，推出有缺陷的產(chǎn)品。這對(duì)公司發(fā)展來(lái)說(shuō)，適得其反。就像今年2月為了應(yīng)對(duì)ChatGPT急急忙忙推出的Bard，因?yàn)橐淮涡⌒∈д`就導(dǎo)致股價(jià)蒸發(fā)了高達(dá)1000億美元。

哪怕是5月，谷歌宣布在大部分產(chǎn)品中植入生成型人工智能，比如谷歌郵箱和其他軟件，試圖用這個(gè)舉動(dòng)改變市場(chǎng)的看法，但效果卻微乎其微。這也讓谷歌深刻認(rèn)識(shí)到，推出有缺陷的產(chǎn)品帶來(lái)的反噬。

但在科技行業(yè)，只要足夠強(qiáng)大就足以搶占市場(chǎng)。早期的手機(jī)霸主諾基亞和黑莓就經(jīng)歷過(guò)慘痛教訓(xùn)，蘋(píng)果用功能更強(qiáng)大、更直觀(guān)的iPhone搶走了它們的市場(chǎng)。在軟件領(lǐng)域，商業(yè)上的成功往往來(lái)自于性能最好的系統(tǒng)。

幾乎可以肯定的是，隨著Gemini的發(fā)布，谷歌或許有望逐漸扭轉(zhuǎn)那些不利的局面。摩根大通分析師就表示，“谷歌開(kāi)始通過(guò)結(jié)合 Gemini的不同模型版本，來(lái)解決投資者對(duì)生成式人工智能創(chuàng)新和GenAI模型運(yùn)行成本過(guò)高的擔(dān)憂(yōu)。”

不過(guò)如果Gemini Ultra真如谷歌所說(shuō)那樣在明年1月初發(fā)布，那么在頂級(jí)人工智能模型的頭部就呆不了太久時(shí)間。畢竟在谷歌努力追趕OpenAI的過(guò)程中，后者有將近一年的時(shí)間來(lái)開(kāi)發(fā)新一代人工智能模型GPT-5。

但有一點(diǎn)不能否認(rèn)，谷歌和OpenAI的這場(chǎng)對(duì)決，已是箭在弦上。

       原文標(biāo)題 : 新火種AI|谷歌Gemini被曝夸大營(yíng)銷(xiāo)？碾壓GPT4純靠“一張嘴”