【資料圖】

英偉達(NVDA.US)的強大芯片為人工智能(AI)的繁榮奠定了基礎。然而，隨著(zhù)ChatGPT等生成式AI的出現，越來(lái)越多用戶(hù)在享受便利的同時(shí)發(fā)現，AI模型有時(shí)會(huì )出現“幻覺(jué)”，即說(shuō)出錯誤的事實(shí)、涉及有害的話(huà)題或導致安全風(fēng)險。為了解決這一問(wèn)題，英偉達在周二發(fā)布了一款名為NeMo Guardrails的新軟件，該軟件能夠為AI模型設置安全“護欄”，避免AI輸出一些不良的內容。

資料顯示，NeMo Guardrails是一個(gè)軟件層，位于用戶(hù)和AI模型之間，可以在模型輸出不良內容之前進(jìn)行攔截和修改。例如，如果用戶(hù)需要一個(gè)針對特定方向的AI，就可以利用該軟件來(lái)限制AI至輸出對應方面的內容，而不談?wù)摬幌嚓P(guān)的話(huà)題。

此外，該軟件還能夠利用一個(gè)AI模型檢測另一個(gè)AI模型，如果兩個(gè)模型輸出的答案不一致，軟件將直接輸出“我不知道”的回答。通過(guò)這種方式，人工智能“胡說(shuō)八道”的情況會(huì )得到有效降低，一些可能存在危險的回復也能夠被直接攔截。

英偉達應用研究副總裁Jonathan Cohen表示：“每個(gè)人都意識到生成式大語(yǔ)言模型的力量，以一種安全可靠的方式部署它們非常重要?！庇ミ_將NeMo Guardrails作為開(kāi)源軟件提供，并將持續對其進(jìn)行更新。

關(guān)鍵詞：