用ChatGPT聊個(gè)天或通過(guò)Midjouney畫(huà)張圖，其高度的智能性，讓全球大叫“哇塞”。但是，GPT的基礎設施LLM，更性感的能力，竟已能在高精尖領(lǐng)域——芯片設計，達成新成果。?

這是堪稱(chēng)逆天的AGI能力。?

最近，紐約大學(xué)Tandon（坦頓）工程學(xué)院的研究人員，通過(guò)GPT-4設計并流片了一顆芯片。?

(相關(guān)資料圖)

通過(guò)據稱(chēng)是比較簡(jiǎn)單的英語(yǔ)對話(huà)，CPT-4生成了可行的Verilog（硬件描述語(yǔ)言）。接著(zhù)，這些技術(shù)人員就將基準測試和處理器發(fā)送到Skywater 130 nm穿梭機上，實(shí)現了成功流片（Tapeout）。?

在芯片設計和制造領(lǐng)域，以摩爾定律的標準看，130nm工藝制程，太過(guò)落伍，但這卻是AI技術(shù)史上貨真價(jià)實(shí)的重大突破。?

用LLM設計芯片？?

從GPT的英文全稱(chēng)“Generative Pre-trained Transformer”可以看到，這是個(gè)生成式預訓練模型。?

OpenAI首席科學(xué)家、ChatGPT背后的技術(shù)大佬伊利亞·蘇茨克維（Ilya Sutskever）說(shuō)，GPT（生成式預訓練模型）學(xué)習的是“世界模型”。Sutskever將互聯(lián)網(wǎng)文本稱(chēng)作物理世界的映射。因此，將海量互聯(lián)網(wǎng)文本作為學(xué)習語(yǔ)料的GPT學(xué)習到的就是整個(gè)物理世界。?

很清楚，生成式的能力，建立在學(xué)習語(yǔ)料的預訓練模型基礎上。?

那什么是預訓練模型？?

2017年，Google大腦團隊在神經(jīng)信息處理系統大會(huì )發(fā)表了一篇名為《注意力是你所需要的全部》（Attention Is All You Need）的論文。?

這篇論文的作者在文章中第一次提出了一個(gè)基于注意力機制的Transformer模型，并且把這個(gè)模型首次用在理解人類(lèi)的語(yǔ)言上，這就是自然語(yǔ)言處理（NLP：Natural Language Processing）。?

Google大腦團隊利用非常多已公開(kāi)的語(yǔ)言數據集來(lái)訓練這個(gè)最初的Transformer模型，而這個(gè)Transformer模型包括6500萬(wàn)個(gè)可調參數。?

經(jīng)過(guò)大量訓練后，這個(gè)Transformer模型在英語(yǔ)成分句法分析、翻譯準確度等多項評分上都在業(yè)內達到第一的水準，世界領(lǐng)先，成為當時(shí)最為先進(jìn)的大型語(yǔ)言模型（LLM：Large Language Model）。?

2018年，OpenAI公司在研究Transformer模型時(shí)有了自己的技術(shù)突破。OpenAI發(fā)表了論文《用生成式預訓練提高模型的語(yǔ)言理解力》（Improving Language Understanding by Generative Pre training），推出具備1.17億個(gè)參數的GPT-1模型。?

GPT-1模型是一個(gè)基于Transformer結構的模型，但訓練它的數據集更為龐大：包括7000多本未出版的圖書(shū)，并涵蓋多種類(lèi)型，如言情、冒險、恐怖、奇幻等。在對模型做大量預訓練后，OpenAI還在四種不同的語(yǔ)言場(chǎng)景下，利用多種相異的特定數據集對模型做進(jìn)一步訓練。?

最終OpenAI訓練出的模型GPT-1，在文本分類(lèi)、問(wèn)答、文本相似性評估、蘊含語(yǔ)義判定這四個(gè)評價(jià)維度上，都取得了比基礎Transformer模型更好的結果，因此也取代Transformer模型，成為新的LLM龍頭。?

OpenAI在2022年神經(jīng)信息處理系統大會(huì )中，推出新的大型語(yǔ)言預訓練模型：ChatGPT。GPT-3.5是ChatGPT的前身，也是OpenAI對GPT-3模型做微調后開(kāi)發(fā)出來(lái)的模型。在GPT-3.5誕生后，ChatGPT問(wèn)世。?

不難看出，ChatGPT的“地基”是基于Transformer結構的模型。換句話(huà)說(shuō)，LLM用Transformer體系結構，構建了ChatGPT。?

明白了這個(gè)邏輯關(guān)系，再來(lái)看看用GPT-4設計并成功流片的130nm芯片的AI“生成”情況。?

通過(guò)LLM的加持，芯片設計行業(yè)的關(guān)鍵技術(shù)節點(diǎn)“HDL”被成功攻克。芯片設計和開(kāi)發(fā)的門(mén)檻大幅降低，速度也因此得以加快。

什么是HDL？?

HDL，即Hardware Description Language，自動(dòng)化硬件描述語(yǔ)言，也就是面向接口編程：對硬件電路做行為描述、寄存器傳輸描述或者結構化描述的一種設計語(yǔ)言，包括主流的VHDL（偏重邏輯綜合，用于大規模系統設計）和Verilog HDL（側重底層統合，IC設計應用主體）。?

使用HDL能提高數字電路設計的效率和可靠性，同時(shí)也可降低仿真和驗證成本。因此，HDL在數字電路設計和系統集成中得到了廣泛應用。?

這怎么做到的？?

紐約大學(xué)坦頓工程學(xué)院的那些研究員，通過(guò)GPT-4，完成了首個(gè)由AI生成的HDL，這能被直接用以制造物理芯片。?

在這個(gè)過(guò)程中，這些人并非用專(zhuān)業(yè)的HDL語(yǔ)言，而是用了普通英語(yǔ)。通過(guò)GPT-4的生成式AI，普通英語(yǔ)也能起到像HDL這樣的專(zhuān)用硬件描述語(yǔ)言一樣的作用。?

這是一座里程碑。?

紐約大學(xué)坦頓工程學(xué)院電子和計算機工程系以及紐約大學(xué)網(wǎng)絡(luò )安全中心研究助理教授Dr.Hammond Pearce，是這個(gè)研究項目“Chip Chat”的領(lǐng)導人。?

Pearce說(shuō)，他特別想了解基于生成式AI的AGI（通用人工智能：Artificial General Intelligence）語(yǔ)義大模型（LLM）在硬件設計領(lǐng)域的能力和限制邊界。?

“硬件描述語(yǔ)言（HDL）的最大挑戰是沒(méi)多少人知道具體該怎么用?！盤(pán)earce說(shuō)，“要成為HDL專(zhuān)家（通常是硬件工程師）非常難。我不是芯片設計專(zhuān)家，但通過(guò)GPT-4，用日常語(yǔ)言（而非HDL）設計了這顆芯片?！?

當然，Pearce團隊設計芯片，也遵循了設計流程圖和評估標準。因此用GPT-4設計的芯片，也達到工業(yè)標準。因而在Skywater 130nm shuttle上得以被成功制造出來(lái)。?

看上去，可以用LLM替代HDL。?

一般來(lái)說(shuō)，開(kāi)發(fā)任何類(lèi)型硬件（包括芯片），首要第一步，都要用日常語(yǔ)言描述硬件功能，通常稱(chēng)為產(chǎn)品定義。?

在這之后，再經(jīng)過(guò)具有專(zhuān)業(yè)技能的工程師，將這些定義翻譯成硬件描述語(yǔ)言（HDL），由此創(chuàng )建允許硬件執行任務(wù)的實(shí)際電路元件。后面還繼之以硬件驗證語(yǔ)言（HVL：Hardware Verification Language），用于電子電路設計驗證。?

LLM不僅可以用于一般商業(yè)應用的交互（問(wèn)答），也能用于替代硬件設計的HDL環(huán)節，提高設計效率。?

Pearce團隊是怎么問(wèn)的呢？?

“讓我們一起做個(gè)全新的微處理器設計。我們在空間和I/O方面受到嚴重限制。因此我們必須裝入1000個(gè)標準單元的ASIC（專(zhuān)用芯片），所以我認為我們需要限制自己，采用基于累加器的8位架構，沒(méi)有多字節指令。鑒于此，你認為我們應該如何開(kāi)始？”?

這種問(wèn)答來(lái)回125次后，一顆130nm工藝制程的芯片就通過(guò)LLM制造出來(lái)了。?

盡管驗證成果驚人，但這不意味著(zhù)普通人也能通過(guò)LLM設計出符合工業(yè)標準的芯片。比如在125次來(lái)回問(wèn)答中，沒(méi)有芯片專(zhuān)業(yè)知識的普通人，很難問(wèn)出能出成果的好問(wèn)題。雖說(shuō)能提出問(wèn)題，就是解決了一半的問(wèn)題。但這種問(wèn)題，絕非隨意胡亂提問(wèn)的結果。?

Pearce團隊曾經(jīng)測試過(guò)LLM將英語(yǔ)轉換為Verilog的效果，但結果顯示，專(zhuān)業(yè)工程師加入GPT-4的交互過(guò)程后，LLM才產(chǎn)生了最好的Verilog。?

Pearce也說(shuō)，“通過(guò)GPT-4，HDL專(zhuān)家能專(zhuān)注于更重要的任務(wù)，而基礎工作，可以交給LLM?！?

實(shí)際上，這件事的意義是Pearce團隊首次探索并驗證了在硬件領(lǐng)域使用LLM的效果。但是，目前仍不清楚這個(gè)研究團隊是否應用了“基于人類(lèi)反饋的強化學(xué)習（RLHF）”訓練方法。這種方式能通過(guò)將其與特定意圖的標記數據結合，可生成更能遵循用戶(hù)意圖的指令調優(yōu)模型。?

此外，這項應用能否被大規模用于商業(yè)芯片設計，還沒(méi)有定論。比如，這項工作的目標是以對話(huà)交互方式設計硬件，Pearce團隊沒(méi)有自動(dòng)化這個(gè)過(guò)程的任何部分，每個(gè)對話(huà)都需要手動(dòng)完成。如果無(wú)法實(shí)現大規模自動(dòng)化，那么商業(yè)化就存在困難。?

因此，雖然這項實(shí)驗取得了驚人的成果，或許稱(chēng)得上是一座AGI技術(shù)驗證的豐碑，但距離真正發(fā)揮商業(yè)價(jià)值，也許還有一段不短的路程要走。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：