谷歌疑似造假,Gemini擊敗GPT靠“作弊”?
就跟數(shù)碼圈(juan)發(fā)新機(jī),每次都要對(duì)比iPhone一樣。每次有新大模型發(fā)布,GPT-4都要被拉出來鞭尸。
贏不贏的,圖個(gè)樂吧。
不管你關(guān)不關(guān)注AI動(dòng)態(tài),這兩天鋪天蓋地的報(bào)道,你也能知道谷歌推出了全新的AI大模型——Gemini。并且,再一次“吊打了”宿敵OpenAI的“地表最強(qiáng)”GPT-4。
圖源:Google
(我為什么要說“再”?)
谷歌造假了?
這次Gemini的關(guān)注度,一點(diǎn)也不亞于OpenAI內(nèi)亂的時(shí)候。畢竟谷歌之前是打算早點(diǎn)發(fā)布Gemini的,就是打的“趁你病要你命”的主意。奈何團(tuán)隊(duì)拉胯的進(jìn)度,最后Gemini不得不延期。
提前也好,延期也罷。Gemini最后還是發(fā)布了,而且谷歌信心滿滿,儼然一副“GPT你好日子到頭了”的架勢(shì)。賬面數(shù)據(jù)和測(cè)試結(jié)果,也是一路默秒全。
而且谷歌還放出來一段6分鐘一鏡到底的視頻,坐等被夸“好牛X”“666”……
但是這時(shí)候有人跳出來說,谷歌你這演示視頻造假了吧?
有人質(zhì)疑說,這段所謂的一鏡到底,其實(shí)是經(jīng)過篩選、剪輯拼接起來的,根本不是實(shí)時(shí)錄制。
隨后,官方表示稱,視頻確實(shí)是有后期制作和剪輯的成分。根據(jù)官方的一份技術(shù)聲明,Gemini所有的這些交互都不是實(shí)時(shí)感知到的,而是通過提示詞問出來的。
這不能說跟演示視頻一毛一樣,根本是八竿子打不著吧。比如“石頭、剪刀、布”游戲,不是Gemini看懂了游戲規(guī)則,而是識(shí)別出了三張圖,并做出了推理。
圖源:Google
而對(duì)“鴨子簡筆畫”的每一個(gè)筆畫的識(shí)別能力,以及對(duì)顏色的看法,也不全是真的。谷歌DeepMind產(chǎn)品副總裁伊萊·柯林斯(Eli Collins)回應(yīng)說,這個(gè)能力目前還是研究級(jí)別的,至少目前還沒有出現(xiàn)在谷歌的實(shí)際產(chǎn)品中。
圖源:YouTube
原來讓人直呼“vocal”的感知能力,結(jié)果還是識(shí)別、提示加引導(dǎo)。這讓很多人表示,谷歌你這是在誤導(dǎo)和欺騙大眾!
眼看著輿論有反噬的苗頭,谷歌最后還是慫了,在油管的演示視頻底下,標(biāo)注了免責(zé)聲明:為了演示的目的,已經(jīng)減少延遲,為了簡潔,Gemini 的輸出也縮短了。
對(duì)比數(shù)據(jù)上“做手腳”
如果單純就是視頻做了“藝術(shù)”加工,也就還好。畢竟現(xiàn)在圈子里這么干的,不在少數(shù)。但是,谷歌還在其他對(duì)比GPT-4的結(jié)果上,搞了點(diǎn)小貓膩。
有人就發(fā)現(xiàn),在谷歌曬出的MMLU 測(cè)試結(jié)果中,Gemini的結(jié)果下面有一行灰色小字,標(biāo)注著“CoT@32”。
這是谷歌自己的“獨(dú)家秘籍”,明顯有利于Gemini,可想而知GPT-4的成績好不了哪里去。
還有人詬病圖示比例尺離譜,很小的差距,被做出了天差地別的視覺效果。
谷歌你這就不太厚道了吧。
而且圖上GPT-4最明顯的成績,用的測(cè)試方法和Gemini不一樣。
隨后,知名開源社區(qū)HuggingFace的技術(shù)主管Philipp Schmid用技術(shù)報(bào)告中披露的數(shù)據(jù)修復(fù)了結(jié)果對(duì)比圖,結(jié)果顯示:
讓Gemini Ultra 和 GPT-4 跑在同一標(biāo)準(zhǔn)下,那Gemini的得分就只有 83.7 ,甚至還不如 GPT-4 。
圖源:X(原推特)
此外,谷歌在發(fā)布會(huì)上宣稱,Gemini三個(gè)版本(Ultra、Pro、Nano),其中Ultra全面超越 GPT-4,Pro在大多數(shù)指標(biāo)上超越GPT-3.5。
但隨后有人經(jīng)過測(cè)試發(fā)現(xiàn),一道8年級(jí)的故事題,GPT-3.5拿了滿分,Gemini Pro則是一塌糊涂。不過,該測(cè)試也就圖一樂,畢竟變量控制和細(xì)節(jié)并不完善,不像專業(yè)的測(cè)試數(shù)據(jù)那樣準(zhǔn)確。
谷歌發(fā)布Gemini時(shí)還提到,后續(xù)Bard將接入微調(diào)版的Gemini Pro,這樣一來,跟接入GPT3.5和GPT4的ChatGPT做一番對(duì)比,就變得更容易了。有興趣的朋友可以去嘗試一下。
雖有質(zhì)疑,但股價(jià)上漲
對(duì)此外界輿論,谷歌DeepMind研究和深度學(xué)習(xí)負(fù)責(zé)人副總裁奧里奧爾·維尼亞爾斯(Oriol Vinyals)表示,“我們這樣做是為了激勵(lì)開發(fā)人員”。但很明顯,大部分人并不買賬。
甚至有谷歌的員工表示,對(duì)于公司這種夸大宣傳,早就習(xí)慣了。而且本身谷歌進(jìn)度落后于OpenAI,所以有點(diǎn)著急也是理所應(yīng)當(dāng)?shù)摹?/p>
當(dāng)然,做人還是要體面一點(diǎn)。
圖源:網(wǎng)絡(luò)
不過,谷歌倒也不是一無所有。在谷歌發(fā)布Gemini之后,12月7日,谷歌母公司Alphabet(Nasdaq:GOOG)的股價(jià)漲5.31% ,收于136.93美元,迎來自今年8月29日以來表現(xiàn)最好的一天,總市值達(dá)到1.72萬億美元 。
要知道,當(dāng)時(shí)在發(fā)布Bard時(shí),谷歌的股價(jià)一天跌去了1000億美元。
雖然要求Gemini超越GPT-4有點(diǎn)苛刻,但誰讓谷歌把牛吹這么大呢,所以什么輿論結(jié)果都得受著。具體Gemini最后能進(jìn)化到什么程度,還得看后續(xù)的進(jìn)展。
那么,嘗試過Gemini和ChatGPT的你,覺得效果如何?Gemini有希望超越GPT4嗎?

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
7月8日立即報(bào)名>> 【在線會(huì)議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺語言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國跨境支付十大趨勢(shì)
- 5 中國最具實(shí)力AI公司TOP10
- 6 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 7 張勇等人退出阿里合伙人
- 8 AI的夏天:第四范式VS云從科技VS地平線機(jī)器人
- 9 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 10 AI視頻,攪動(dòng)1.5萬億市場(chǎng)