即日起華爾街見(jiàn)聞·見(jiàn)智研究新推出AI見(jiàn)聞日報欄目，每周一到周四晚八點(diǎn)更新。內容覆蓋本日AI熱點(diǎn)，分為見(jiàn)聞視角和AI快報兩部分。

也歡迎大家對內容和觀(guān)點(diǎn)進(jìn)行留言和探討，幫助我們更好的優(yōu)化欄目。未來(lái)我們會(huì )持續給大家帶來(lái)有意思，并且有價(jià)值的內容。

(資料圖片)

見(jiàn)聞視角

1、大模型從此有了“安全道德”數據庫

如何從聊天機器人中剔除對人類(lèi)有害的言論一直是備受關(guān)注的問(wèn)題。

ChatGPT、Bard這類(lèi)聊天機器人是如何做到盡量給出對人類(lèi)友善的、誠實(shí)且有幫助的答案？

封閉大模型主要采用人工標注的方式，對大語(yǔ)言模型的回答內容進(jìn)行打分，然后用強化學(xué)習方法從人類(lèi)的反饋中學(xué)習（RLHF），但是由于打分伴有人類(lèi)主觀(guān)偏好，所以數據集仍存在潛在的安全隱患。

為解決上述難題，北京大學(xué)首次公開(kāi)了開(kāi)源PKU-Beaver（河貍）大模型RLHF（利用強化學(xué)習方法從人類(lèi)反饋中學(xué)習的技術(shù)）的數據集（開(kāi)源迄今為止最大的多輪 RLHF 數據集，規模達到 100 萬(wàn)條）、訓練和驗證代碼。這些數據集包括侮辱、歧視、犯罪、心理傷害、悲觀(guān)情緒、色情、隱私等十余種維度的約束。

見(jiàn)智研究認為：PKU-Beaver（河貍）大模型RLHF數據集等內容的開(kāi)源，能夠讓更多開(kāi)源大模型進(jìn)行安全有效的訓練，極大的解決了大模型的數據集安全性的問(wèn)題。

值得關(guān)注的是：在一系列安全性問(wèn)題的測試上，PKU-Beaver具有遠高于知名開(kāi)源項目Alpaca的領(lǐng)先性?xún)?yōu)勢。

河貍采用的SafeRLHF支持主流的預訓練模型如 LLaMA、OPT等模型的訓練；支持Reward Model 和 Cost Model 訓練；參數定制化的 RLHF 和數據集定制接口；并且提供安全約束滿(mǎn)足的多種驗證方式。也就是說(shuō)，未來(lái)開(kāi)源大模型有了“安全數據庫”，開(kāi)源地址為：https://github.com/PKU-Alignment/safe-rlhf

2、機器學(xué)習再升級-推理能力提高1750%

機器學(xué)習又卷出了新高度。

來(lái)自普林斯頓大學(xué)和Google DeepMind研究人員提出了一種全新的語(yǔ)言模型推理框架「思維樹(shù)」簡(jiǎn)稱(chēng)ToT，并表示TOT能讓大模型的推理能力提高1750%。

TOT方法可以讓大語(yǔ)言模型進(jìn)行反復思考，特別是在推理問(wèn)題的時(shí)候，會(huì )進(jìn)行多種方案的評估，從而選擇表現最優(yōu)的方案。

見(jiàn)智研究認為：相比于模型原來(lái)采用的推理方案，TOT 的出現，讓大模型似乎是有了思想，可以更自主、更智能的做出決策。

值得關(guān)注的是：該方法不僅僅可以用于數學(xué)邏輯推斷，還可以進(jìn)行創(chuàng )意寫(xiě)作。

AI快報

1、谷歌新推新音頻模型 SoundStorm

該模型能夠生成與 AudioLM 相同口徑的音頻，但它的運行速度提高了 100 倍，使用 TPU-v30 時(shí)，只需半秒即可產(chǎn)生 4 秒的音頻。

2、大模型并不只鸚鵡學(xué)舌，“它”也能理解語(yǔ)義

AI領(lǐng)域一直有個(gè)飽受爭議的問(wèn)題，那就是：聊天機器人所采用的文本大模型是否真的理解人類(lèi)語(yǔ)言所表述的含義？還是鸚鵡學(xué)舌？來(lái)自MIT的一篇論文，解決了這個(gè)問(wèn)題。

實(shí)驗結果表明：大語(yǔ)言模型是可以一定程度學(xué)習到語(yǔ)言所傳遞內容，而不僅僅是模仿。

值得關(guān)注是：當LM超越了模仿階段，似乎能夠生成更高準確率的內容，并且對語(yǔ)義內容的理解度也進(jìn)一步提高。論文地址：https://paperswithcode.com/paper/evidence-of-meaning-in-language-models

3、AI發(fā)現稀有DNA

機器學(xué)習推進(jìn)科研究的案例來(lái)了。加州大學(xué)圣地亞哥分校的研究人員利用機器學(xué)習的力量，確定了罕見(jiàn)的”合成極端“DNA序列。James Kadonaga教授表示：“這種發(fā)現只能由AI來(lái)完成?！?/p>

該團隊致力于研究如何有效激活基因，從而探究生長(cháng)、發(fā)育和疾病的過(guò)程。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：