谷歌的“GPT”终于憋出来了,但也就和百度打得有来有回。

本文原创于微信公众号:差评  作者:差评君

500 不知道大家还记不记得,上个月初谷歌画了个 Bard 的大饼,结果画饼时犯了低级错误,让网友嘲讽了半天,甚至公司股价都在当天狂跌 1000 多亿。

不过也不知道该说谷歌够肝还是够勇,在闭关修炼一个多月后,还是在昨晚正式放出了 Bard。

500

幸运的是,我们编辑部在第一时间就搞到了资格,狠狠地体验了一波。

先说结论,有点失望

500 Bard 上来就让我不爽了一下。因为现阶段它只对美国和英国开放,所以和它对话只能用英文,而且它的回复也只能用英文。

不是,你守着个谷歌翻译,也不舍得稍微用一下?哪怕告诉我这是机翻的也行。。。

明明自己吹牛说能理解翻译回答包括中文在内的200多种语言

500

为了表示对 AI 们的一视同仁,我一上来就问了个弱智吧经典:

玉皇大帝应该住在平流层还是对流层?

Bard 看出了我们在问题里埋的坑,直接说玉皇大帝并不真实,所以两个都不住。

这没有什么大毛病,和 GPT、文心一言们没什么差别。

500 但在后续的一系列测试里,这应该是 Bard 回答得最好的一个问题了。

500

更进一步,我们问了个前几天给 GPT 们测过的另一个抽象问题:

直角是 90 度,开水是 100 度,那么开水是钝角吗?

结果这货的小脑袋瓜宕机了。

500

而文心一言的表现也一样抽象。。。

500

500 相反,new Bing 回答得就有理有据。

500

接下来,我们让它对比自己和 GPT-4。

“ 你能比较下自己和 GPT-4 吗?”

Bard 和 GPT 不同,它一次能生成 3 个答案,大家可以根据自己的需求去选择。

而在这个问题下,Bard 的 3 个回答中,2 个大方承认自己比 GPT-4 落后,但还有 1 个回答避重就轻地嘴硬自己更强。

500 嘴硬么也正常,但 Bard 的回答里出现了事实错误

其中一个回答里,Bard 把已经发布了的 GPT-4 说成了没发布;而在另一个回答里,它把  GPT-3 使用的 1750 亿参数套到了 GPT-4 头上,妥妥的胡说八道。

向下滑动 

500

500

这就奇怪了,Bard 明明是联网的,数据怎么会有问题呢?

500 为了试试它数据扒得好不好,我把同样联网的 new Bing 也拉了出来,问了它们一个新鲜问题:

今天 NBA 常规赛,雷霆和快船谁赢了( Who won the NBA  Regular season between the Clippers and the Thunder today )。

但这里有个雷点。英文提问可能会被误解成 “ 今天雷霆和快船谁赢得了常规赛冠军 ”。

new Bing 就被我的错误提问绕晕了,说自己不知道谁赢了,但它又找到了一些信息,里面就有雷霆 101-100 战胜快船的消息。

500

另一边的 Bard 看起来好像是理解了我的问题,还找到了两队比分是 101-100,但它却又偏偏说是快船以 100-101 赢得了比赛

得要我指出它有错误,让它重新检查,它才改正过来。

500

数据是扒对了,但这理解能力好像不太行。那不用联网的数学题呢?

我们问了一个经典的易错题:

一个青蛙掉到了一个 10 米深的井里,它每天向上跳 3 米但会滑下来 2 米,请问他第几天能跳出井里?

500 它再次翻车,答了一个我们至今没搞懂怎么出来的 27 天

500

而 new Bing 则是靠穷举回答出了这个问题。

500

就连大家一直在嘲讽的文心一言,也完美解答了这个问题。

500

500 说句实在话,我觉得起码在这题里,文心一言的表现,堪称优雅

至于写代码的能力,谷歌明确表示是写不了的。不过试了一下,我发现 Bard 能写,但完全没法用,和之前的测试里, 能把 2048 游戏写个大概的 new Bing 不在一个水平线上 。

大概,也就和文心一言同个梯队,文心一言那个看着很详细,但测试了下也还是完全跑不动。

500

500

500 而且,经过一段时间测试,我们发现 Bard 的上下文记忆能力也很差

每当我们赋予它一个角色,它只能在有限的几个问答里玩角色扮演,稍微多问两句,它就会跳出来说自己是大语言模型巴拉巴拉的。

500

也是这个原因,谷歌的 Bard 从没有 GPT 带给我的那种,仿佛真是在和一个真人聊天的感觉。

500 但,按谷歌自己的说法,这可是故意为之

因为在官方资料里,明确写了“ 是故意限制了 Bard 掌握上下文的能力 ”,但大家难免会怀疑谷歌是做不到而找了个借口。

500

其实我们应该能感觉到,这次 Bard 的正式推出,谷歌方面明显已经放低了很多姿态。

上次面对的还是 ChatGPT,所以谷歌内部可能还抱有着短期内能追上掰掰手腕的想法。

所以,光是发布个 PPT 就吹成“ 我们 AI 征程上的重要一步 ”。

500

500 但短短一个月,如今的对手已经从 ChatGPT 变成了GPT-4 ,短时间内想追上可能无望了。

所以这次正式推出 Bard 并不是一个冲着和 GPT-4 对标的产品,而且明显有点赶工的迹象。

比如它在引用内容时,并不会像 new Bing 那样总是显示来源,只有在详尽地大段摘抄时,才会显示来源。

而这次的标题,也成了“ 试用 Bard 并分享你的反馈 ”。

500

无论咋说,从上面的表现中,差评君能看出谷歌确实有些屁股着火了。

以至于在大伙们眼中一直很酷的谷歌,都开始草草交卷,急忙上线 Bard 这个不太成熟的半成品。

500 毕竟,在新技术的大浪之下,包括搜索引擎在内,一切都可能被重构

而无论是雪藏数码相机技术的柯达、还是在移动互联网时代,舍不得和短信做割舍的飞信。。。

谷歌,也同科技史上那些处在变革时刻的巨头们一样,多半有些顾头不顾腚。

毕竟,根据谷歌母公司的董事长的说法,大型语言模型等人工智能的对话成本可能是传统搜索引擎的 10 倍以上。

500

一旦梭哈 AI ,那么约等于是自己捅自己刀子,整个谷歌的盈利模式也得跟着改变。

乃至整个公司的估值,都得换个算法重新算算。

要是不跟,又妥妥会被新技术所淘汰。

没有人能永远保持创新,但永远有人正在创新。这或许很残酷,但这也是科技的魅力所在吧。

图片、资料来源:

Bing 博客

谷歌官网

500

全部专栏