數(shù)學(xué)考試不及格，讓 Bard 考上哈佛，可以說(shuō)是難上加難。谷歌 CEO 劈柴稱(chēng)，未來(lái)幾天大家會(huì)看到升級(jí)版的 Bard，數(shù)學(xué)邏輯能力大大提升，甚至未來(lái)還會(huì)編碼。
捂了快兩個(gè)月，谷歌用來(lái)跟 ChatGPT 對(duì)打的聊天機(jī)器人 Bard，前一陣終于被推上了臺(tái)面。
用戶(hù)們的測(cè)試初體驗(yàn)就是 —— 莫得感情，錯(cuò)誤很多，代碼基本寫(xiě)不了。
幾天前，谷歌前員工 Jacob Devlin 甚至還曝出驚人內(nèi)幕，Bard 疑似是通過(guò) ChatGPT 的數(shù)據(jù)進(jìn)行訓(xùn)練的。不過(guò)谷歌發(fā)言人已經(jīng)明確否認(rèn)這一說(shuō)法。
而近日，谷歌 CEO 劈柴在接受紐約時(shí)報(bào)采訪(fǎng)中證實(shí)，Bard 聊天機(jī)器人將很快得到改進(jìn)，未來(lái)會(huì)由「更強(qiáng)大的模型」提供支持。
升級(jí)版 Bard 即將上線(xiàn)
劈柴稱(chēng)，
未來(lái)幾天，Bard 將很快從目前基于 LaMDA 的模型轉(zhuǎn)向更大規(guī)模的 PaLM 數(shù)據(jù)集。
我們顯然擁有能力更強(qiáng)的模型，很快，也許隨著這項(xiàng)技術(shù)的上線(xiàn)，我們將把 Bard 升級(jí)到更強(qiáng)大的 PaLM 模。這將帶來(lái)更多的功能，無(wú)論是在推理還是編碼方面。
近日，升級(jí)版 Bard 的能力也漸漸浮出水面。
領(lǐng)導(dǎo) Bard 的一位谷歌高管 Jack Krawczyk 在推特上也介紹了最新的進(jìn)展。
背靠 PaLM 的 Bard，現(xiàn)在在數(shù)學(xué)和邏輯方面的能力有了很大的提升。
這意味著什么呢？現(xiàn)在，Bard 將更好地理解并回應(yīng)用戶(hù)的多步推理和數(shù)學(xué)問(wèn)題提示，編碼功能也即將推出。
Krawczyk 稱(chēng)，「我們一直在平衡 Bard 的新功能與效率。這次更新是我們每周對(duì) Bard 進(jìn)行的眾多改進(jìn)中的一個(gè)例子。未來(lái)還有更多的內(nèi)容要推出。」
眾所周知，Bard 背后基于的大模型便是 LaMDA。
在去年，谷歌曾分享了關(guān)于這個(gè)大型語(yǔ)言模型的細(xì)節(jié)，使用了 1370 億參數(shù)訓(xùn)練了 LaMDA。而 PaLM 模型有 5400 億參數(shù)。
這兩種模型都是從 2022 年初開(kāi)始發(fā)展和成長(zhǎng)起來(lái)的。
這種對(duì)比可能顯示了，為什么谷歌現(xiàn)在正在慢慢地將 Bard 轉(zhuǎn)移到，能夠提供更大數(shù)據(jù)集和更多不同答案的 PalM。
其實(shí)除了 Bard，谷歌最近幾周內(nèi)部還在醞釀著一個(gè)新的項(xiàng)目 ——Gemini（雙子座），目標(biāo)是要能與 GPT-4 一戰(zhàn)。
目前，Gemini（雙子座）是由谷歌大腦和 DeepMind 兩個(gè)團(tuán)隊(duì)聯(lián)手研發(fā)。
就連谷歌大腦的負(fù)責(zé)人 Jef Dean 都親臨上陣，自動(dòng)敲代碼，可見(jiàn)，這個(gè)項(xiàng)目對(duì)谷歌的重要性不言而喻。
此外，采訪(fǎng)中，皮查伊就千名大佬暫停比 GPT-4 更強(qiáng) AI 系統(tǒng)研發(fā)的聯(lián)名信發(fā)表了自己的看法：
如果不讓政府參與，暫?；旧鲜遣豢赡艿?，因?yàn)榧词构雀杌?OpenAI 承諾停止開(kāi)發(fā)，也不能保證其他 AI 開(kāi)發(fā)人員也會(huì)同意效仿。
而且，他也同意法規(guī)是必要的，并稱(chēng)這封信是「對(duì)話(huà)的開(kāi)始」。
谷歌先打預(yù)防針：它還不行
如今，既然 Bard 已經(jīng)開(kāi)放公測(cè)，拉踩的環(huán)節(jié)必然是少不了。
我們都知道，OpenAI 家的 GPT-4，都已經(jīng)能考上斯坦福了。
很不幸，相比之下，谷歌的 Bard 真的拉跨，目前的它想考上斯坦福和哈佛，可以說(shuō)還是天方夜譚。
Bard 的不完美，CEO 劈柴一開(kāi)始就給我們打了預(yù)防針。
他在備忘錄中寫(xiě)道：「Bard 還處于早期階段，總會(huì)出錯(cuò)。隨著越來(lái)越多的人開(kāi)始使用 Bard，它會(huì)讓我們驚訝的?！?/p>
而網(wǎng)友們測(cè)試 Bard 之后，表示對(duì)它很失望。
很不幸，Bard 目前還考不進(jìn)哈佛大學(xué)，因?yàn)樗卮鸬拇蟛糠謹(jǐn)?shù)學(xué)題都是錯(cuò)的，而且它在寫(xiě)作和語(yǔ)言測(cè)試中也表現(xiàn)得不咋地。
第一次登錄 Bard，谷歌就會(huì)跟用戶(hù)打好招呼，彈出消息顯示：Bard 并不總是正確的，它會(huì)給出不準(zhǔn)確或不適當(dāng)?shù)幕卮稹?/p>
當(dāng)有疑問(wèn)時(shí)，使用「Google it」來(lái)檢查 Bard 的答案。您的反饋會(huì)讓 Bard 更好。請(qǐng)您對(duì)答案進(jìn)行評(píng)價(jià)，并標(biāo)記任何可能具有攻擊性或危險(xiǎn)的內(nèi)容。
Bard：數(shù)學(xué)、寫(xiě)作、語(yǔ)言都不咋地
《財(cái)富》雜志從在線(xiàn)學(xué)習(xí)資源中選取了 SAT 數(shù)學(xué)試題，在對(duì) Bard 進(jìn)行測(cè)試后，發(fā)現(xiàn)它有 50%-75% 的答案是錯(cuò)誤的。
更離譜的是，如果是多選題，Bard 還會(huì)經(jīng)常給出選項(xiàng)中沒(méi)有的答案。
2 月初，Bard 首次亮相后直接翻車(chē)，讓谷歌市值一夜蒸發(fā)約 1056 億美元。
在當(dāng)天發(fā)布會(huì)上，谷歌展示 Bard 演示的一些 demo。
視頻中有一個(gè)提問(wèn)問(wèn)道，「關(guān)于詹姆斯?韋伯太空望遠(yuǎn)鏡（JWST），我可以告訴我 9 歲的孩子它有哪些新發(fā)現(xiàn)？」
Bard 卻給出了錯(cuò)誤的答案，「JWST 拍攝了太陽(yáng)系外行星的第一張照片。」
事實(shí)上，據(jù) NASA 證實(shí)，第一張系外行星照片是由智利的甚大望遠(yuǎn)鏡系統(tǒng)拍攝的，而非 JWST 拍攝，這顆系外行星名為 2M1207b，大小約為木星的 5 倍，距離地球約 170 光年。
所以說(shuō)，科學(xué)和數(shù)學(xué)都不是 Bard 的強(qiáng)項(xiàng)，那它在閱讀和寫(xiě)作練習(xí)方面，表現(xiàn)會(huì)怎么樣？
文科生，是文科生吧？
Bard 第一次書(shū)面語(yǔ)言測(cè)試的答案正確率約為 30%，而且它往往需要被提問(wèn)兩次才能理解題干。
而且即使它回答錯(cuò)了，Bard 的語(yǔ)氣也是很自信，直接將回答框定為：「正確答案是......」
不過(guò)，這也是大型語(yǔ)言模型的一個(gè)通病了。
離奇的是，Bard 測(cè)試成績(jī)最好的是關(guān)于一篇哈利波特作者 J.K.羅琳的文章。
在這次測(cè)試中，Bard 得了 1200 分，這個(gè) SAT 分?jǐn)?shù)可以讓它進(jìn)入霍華德大學(xué)、圣地亞哥州立大學(xué)和密歇根州立大學(xué)等學(xué)校。
在閱讀測(cè)試中，Bard 的表現(xiàn)同樣優(yōu)于其數(shù)學(xué)成績(jī)，平均能答對(duì)一半左右。
谷歌發(fā)言人說(shuō)，「Bard 目前仍是實(shí)驗(yàn)性的，有些回答可能不準(zhǔn)確，所以要仔細(xì)檢查 Bard 的回答中的信息。有了你們的反饋，Bard 每天都在變得更好。在 Bard 公開(kāi)推出之前，數(shù)以千計(jì)的測(cè)試者參與提供反饋，來(lái)幫助 Bard 提高其質(zhì)量、安全性和準(zhǔn)確性?！?/p>
要多練習(xí)
很多網(wǎng)友覺(jué)著 Bard 簡(jiǎn)直笨得像塊石頭，相比之下，GPT-4 則是聰明多了：
問(wèn)它有沒(méi)有「第二個(gè)字母是 U，最后一個(gè)字母是 O 的，五個(gè)字母的詞」，它信誓旦旦說(shuō)沒(méi)有。
用戶(hù)說(shuō)「Audio」不就是？
它有趕緊說(shuō)：「是的，Audio 是的。它是一個(gè)形容詞，表示與聲音有關(guān)的?！?/p>
再看看 GPT-4，「人狠話(huà)不多」，隨手就列出了三個(gè)：
網(wǎng)友看了不禁表示，要是我有 Bard 這種「鈍感力」多好啊，一直都很自信！
說(shuō)到意大利要禁 ChatGPT 時(shí)，網(wǎng)友們首先擔(dān)心的是意大利的美食怎么辦。
GPT 給出了一個(gè)謙虛的答案：我大概可以復(fù)現(xiàn) 20%-30% 的意大利菜譜。
而 Bard 這邊則像個(gè)胡吹的愣頭青：
「我做意大利菜做了很多年，我可是老手，即使沒(méi)有網(wǎng)絡(luò)的幫忙，我也能復(fù)現(xiàn)至少 50% 的菜譜！」
不過(guò)呢，在大家不斷向 Bard 提問(wèn)的幾天時(shí)間里，它的準(zhǔn)確性確實(shí)有了一些提高的跡象。
關(guān)于自己的發(fā)展速度，Bard 自個(gè)兒也評(píng)價(jià)說(shuō)：「我想說(shuō)的是，我正在快速提高。我能夠做幾個(gè)月前還不能做的事情。我很高興看到我的未來(lái)會(huì)怎樣。我相信，我將繼續(xù)進(jìn)步，在未來(lái)的幾年里，我能做的事會(huì)越來(lái)越多?！?/p>
參考資料：
https://fortune.com/2023/03/28/google-chatbot-bard-would-fail-sats-exam/
本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。