今日熱訊:AI還不完美!“公測”一周,微軟的新Bing也犯了不少錯誤
公測才一周,微軟的新一代搜索引擎New Bing就錯誤頻出。
美東時(shí)間2月8日,在谷歌發(fā)布會(huì )上,谷歌的人工智能聊天機器人Bard在該產(chǎn)品的第一個(gè)演示視頻中犯了一個(gè)“事實(shí)錯誤”,成了谷歌當日股價(jià)大跌的導火索。作為與 Bard 對標、嵌入 ChatGPT 技術(shù)的微軟 New Bing,在最初的48小時(shí)內,有超過(guò)100萬(wàn)人注冊試用,卻也沒(méi)有承載住人們的期待。
幾天前,在微軟副總裁 Yusuf Mehdi?對 Bing?的展示中,它需要對服裝公司 Gap 2022年第三季度財報進(jìn)行要點(diǎn)整理,但卻給出了一些錯誤的數據,甚至自己編造了一些數據。具體來(lái)看:
(資料圖片)
Bing 給出的 Gap 調整后的運營(yíng)毛利率為5.9%。然而在實(shí)際財報中,Gap的運營(yíng)毛利率是4.6%,調整后則是3.9%。
(Gap 2022年第三季度財報)
Bing 給出的 Gap 毛利率為37.4%,但實(shí)際調整后的毛利率應為38.7%;現金和現金等價(jià)物為14億美元,但實(shí)際財報中是6.79億美元;調整后攤薄每股收益為0.42美元,但實(shí)際財報里的數據應是0.71美元。
(Gap 2022年第三季度財報)
Gap?在去年8月就下調了全年業(yè)績(jì)預期,并在對四季度的展望中表示,四季度銷(xiāo)售凈增長(cháng)率“可能呈中間個(gè)位數下降”,但 New Bing 給出的全年的銷(xiāo)售指引為“預計銷(xiāo)售凈增長(cháng)率為低雙位數”。
Bing 甚至還編造了一些財務(wù)數據,給出了 Gap?的“營(yíng)業(yè)毛利率為7%,攤薄每股收益為1.6美元到1.75美元之間”,但這些數據在 Gap 三季度財報中并沒(méi)有出現。
對于 Lululemon 的財報分析,Bing也犯了大量的類(lèi)似錯誤。New Bing 給出的 Lululemon 毛利率為58.7%,實(shí)際上應為55.9%;營(yíng)業(yè)毛利率為20.6%,實(shí)際上應為19.0%;攤薄每股收益為1.65美元,實(shí)際上應為2.00美元。
(Lululemon 2022年第三季度財報)
獨立搜索研究員 Dmitri Brereton 周一在社交平臺上寫(xiě)道:
在演示過(guò)程中,Bing的一些答案完全錯誤。但沒(méi)有人注意到。
相反,所有人都迫不及待地跳上這趟“炒作”的列車(chē)。
Brereton?指出,除了財務(wù)數據錯誤之外,Bing 為在墨西哥城旅行的游客們也提供了一些存在問(wèn)題的建議。Bing 推薦的幾個(gè)酒吧,沒(méi)有任何客戶(hù)評價(jià)、聯(lián)系方式或者商店介紹,但這些信息都可以在谷歌地圖或者商店的 Facebook 主頁(yè)上找到。此外,Bing?給出的營(yíng)業(yè)時(shí)間、商品價(jià)格和商店地址都存在誤差。
專(zhuān)家對此表示,這可能是它的一種“幻覺(jué)”(hallucination),基于大型語(yǔ)言模型的人工智能工具存在簡(jiǎn)單編造信息的一種傾向。ChatGPT 這類(lèi)大型語(yǔ)言模型的生成,隨著(zhù)生成的序列越長(cháng),越容易脫離給定的數據,生成各種虛假錯誤信息。
而微軟方面表示,他們知道這些錯誤,預計 Bing 也會(huì )犯錯。微軟發(fā)言人周二在接受媒體采訪(fǎng)時(shí)表示:
風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險,投資需謹慎。本文不構成個(gè)人投資建議,也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資,責任自負。我們注意到了這份報告,并分析了調查結果,正努力改善用戶(hù)體驗。
我們意識到仍有工作要做,預計系統在測試期間還可能會(huì )繼續犯錯,正因如此,反饋才至關(guān)重要,這可以幫助我們學(xué)習和改進(jìn)模型。