劃重點(diǎn)

1、人工智能通過(guò)在大量數據中尋找模式來(lái)學(xué)習，但首先這些數據必須由人類(lèi)進(jìn)行分類(lèi)和標記，數據注釋員由此應然而生，他們被視為隱藏在機器背后的“幽靈勞工”。

(資料圖)

2、注釋員們的工作枯燥而乏味，經(jīng)常需要做重復性的工作，按件計酬，平均時(shí)薪在5到10美元（約合人民幣36到72元）之間。到今年年初，部分注釋員的時(shí)薪已經(jīng)降到了每小時(shí)1到3美元（約合人民幣7到22元）。

3、注釋工作依然是人工智能的基礎，它已經(jīng)形成了完整的供應鏈。這類(lèi)工作將在很長(cháng)時(shí)間內繼續存在。

4、注釋工作與智能手機、汽車(chē)制造不同的地方在于，它有易變形和流動(dòng)性，經(jīng)常會(huì )流向運營(yíng)成本更低的地方。

從內羅畢大學(xué)畢業(yè)幾個(gè)月后，現年30歲的喬（Joe）找到了一份注釋員的工作，主要幫助處理用于訓練人工智能的原始信息，這樣的工作枯燥而乏味。人工智能通過(guò)在大量數據中尋找模式來(lái)學(xué)習，但首先這些數據必須由人類(lèi)進(jìn)行分類(lèi)和標記，因此可以說(shuō)人類(lèi)是隱藏在機器背后的“幽靈勞工”。

以喬的工作為例，他正在為自動(dòng)駕駛汽車(chē)標記視頻，一幀一幀地從每個(gè)攝像頭角度識別汽車(chē)、行人、騎單車(chē)者，以及司機需要注意的任何東西。這是一項困難且需要不斷重復的工作。一個(gè)幾秒鐘的短視頻需要8個(gè)小時(shí)來(lái)注釋?zhuān)瑔虨榇丝梢缘玫酱蠹s10美元的報酬。

然后，在2019年，一個(gè)機會(huì )突然出現在他面前，喬開(kāi)始為一家急需注釋員的新公司培訓新人，收入是以前的四倍。每隔兩周，50名新員工就會(huì )排隊進(jìn)入內羅畢的一棟辦公樓，開(kāi)始他們的學(xué)徒生涯。對注釋員的需求似乎無(wú)窮無(wú)盡。他們將被要求對鏡子自拍中看到的衣服進(jìn)行分類(lèi)，通過(guò)機器人吸塵器的眼睛來(lái)確定他們所在的房間，并在激光雷達掃描的摩托車(chē)周?chē)?huà)出方框。喬的半數以上學(xué)生通常在培訓結束前就退出了?！坝行┤瞬恢廊绾伍L(cháng)時(shí)間呆在一個(gè)地方，”他委婉地解釋道。此外，他承認，“這項工作很無(wú)聊”。

但在一個(gè)工作機會(huì )稀缺的地方，這畢竟是一份不錯的工作，喬培養了數百名畢業(yè)生。培訓結束后，這些學(xué)徒可以回到家里，獨自在臥室和廚房里工作，不準告訴任何人他們在做什么。這不是真正的問(wèn)題所在，因為就連他們自己甚至都不理解他們在干什么。

為自動(dòng)駕駛汽車(chē)標記對象的工作很容易，但對扭曲的對話(huà)片段進(jìn)行分類(lèi)、識別說(shuō)話(huà)者是機器人還是人類(lèi)，卻充滿(mǎn)了挑戰。每個(gè)識別對象都是某個(gè)更大項目的一小部分，所以很難說(shuō)他們到底在訓練人工智能做什么。這些對象的名稱(chēng)也沒(méi)有提供任何線(xiàn)索，Crab Generation、Whale Segment、Woodland Gyro以及Pillbox Bratwurst，都是些沒(méi)有任何邏輯順序的工作代號。

至于雇傭他們的公司，大多數人只知道它叫Remotasks，一個(gè)為任何英語(yǔ)流利的人提供工作機會(huì )的網(wǎng)站。就像大多數注釋員一樣，喬也不知道Remotasks是Scale AI公司旗下合同工外包公司。Scale AI是一家估值數十億美元的硅谷數據供應商，其客戶(hù)包括人工智能初創(chuàng )企業(yè)OpenAI和美國軍方。Remotasks和Scale AI的網(wǎng)站上都沒(méi)有提到過(guò)對方。

01 用獨特的人類(lèi)能力幫助機器

公眾對OpenAI的ChatGPT等大語(yǔ)言模型的大部分反應，都集中在它們似乎準備自動(dòng)化的工作方面。但即使是最令人印象深刻的人工智能系統也離不開(kāi)人類(lèi)的幫助，無(wú)數人都在通過(guò)給數據貼上標簽來(lái)訓練它，并在數據被混淆時(shí)介入干預。只有那些有能力購買(mǎi)這些數據的公司才能參與行業(yè)競爭，而那些得到這些數據的公司則會(huì )竭盡全力保守這些數據的秘密。其結果是，除了少數人外，我們對影響這些系統行為的信息知之甚少，對塑造這些系統行為背后的人更是如此。

對喬的學(xué)生們來(lái)說(shuō)，這是一份剝去了一切正常表象的工作：他們需要遵守嚴格的時(shí)間表，不需要知道在做什么，或者在為誰(shuí)工作。事實(shí)上，他們很少稱(chēng)自己是在工作，只是在例行完成“任務(wù)”。他們自稱(chēng)為任務(wù)工作者。

人類(lèi)學(xué)家大衛·格雷伯（David Graeber）曾為所謂的“狗屁工作”（bullshit jobs）下過(guò)定義，即沒(méi)有意義或目的的工作。這些工作應該被自動(dòng)化，但由于受到官僚主義、地位或惰性等原因影響，卻沒(méi)有被自動(dòng)化。培訓人工智能的工作與之類(lèi)似：人們想要自動(dòng)化的工作，通常認為已經(jīng)自動(dòng)化了，但仍然需要人類(lèi)來(lái)參與。這些工作是有特殊用途的，只是注釋員們不知道罷了。

當前的人工智能熱潮就始于這種相當乏味、重復性的勞動(dòng)。早在2007年，時(shí)任普林斯頓大學(xué)教授的人工智能研究員李飛飛就曾懷疑，改善圖像識別神經(jīng)網(wǎng)絡(luò )的關(guān)鍵是在更多數據上進(jìn)行訓練，需要數百萬(wàn)而非數萬(wàn)張經(jīng)過(guò)標記的圖像。問(wèn)題是，她的團隊需要花費數十年時(shí)間和數百萬(wàn)美元才能給這么多照片貼上標簽。

李飛飛在亞馬遜的眾包平臺Mechanical Turk上找到了數千名工人，世界各地的人們在這個(gè)平臺上以低廉的報酬完成各種小任務(wù)。由此產(chǎn)生的標注數據集被稱(chēng)為ImageNet，它使機器學(xué)習取得了重大突破，使該領(lǐng)域重新煥發(fā)活力，并迎來(lái)了最近十年的進(jìn)步。

注釋仍然是開(kāi)發(fā)人工智能必不可少的部分，但工程師們經(jīng)常覺(jué)得，對于更有魅力的建模工作來(lái)說(shuō)，它只是一個(gè)短暫的、繁瑣的先決條件。你可以盡可能便宜地收集盡可能多的標記數據來(lái)訓練自己的模型，如果能夠成功，至少在理論上，你就不再需要注釋員了。但是，注釋工作永遠不會(huì )真正完成。研究人員認為機器學(xué)習系統“十分脆弱”，當遇到訓練數據中沒(méi)有被很好解釋的東西時(shí)，很容易失敗。這些失敗被稱(chēng)為“邊緣案例”，可能會(huì )產(chǎn)生嚴重的后果。

2018年，網(wǎng)約車(chē)公司Uber的一輛自動(dòng)駕駛測試車(chē)撞死了一名女性，原因在于：盡管它的編程要求避開(kāi)騎單車(chē)者和行人，但它不知道該如何對待騎自行車(chē)過(guò)馬路的人。隨著(zhù)提供法律建議和醫療幫助的人工智能系統越多，它們遇到的邊緣案例就越多，就需要更多的人類(lèi)來(lái)對它們進(jìn)行分類(lèi)。這已經(jīng)催生了一個(gè)全球性的產(chǎn)業(yè)，由像喬這樣的人組成，他們用自己獨特的人類(lèi)能力來(lái)幫助機器。

在過(guò)去的六個(gè)月里，科技調查記者喬什·齊耶扎（Josh Dzieza）與來(lái)自世界各地的二十多名注釋員進(jìn)行了交談，其中許多人正在訓練尖端的聊天機器人，但也有許多人在做維持人工智能運行所需的平凡體力勞動(dòng)。有人對TikTok視頻的情緒化內容、垃圾郵件新變體以及不當在線(xiàn)廣告進(jìn)行分類(lèi)。還有人在查看信用卡交易，找出與之相關(guān)的購買(mǎi)類(lèi)型，或者查看電子商務(wù)推薦，并決定在購買(mǎi)了另一件襯衫后，你是否真的會(huì )喜歡那件襯衫。

人類(lèi)正在糾正客服聊天機器人的錯誤，傾聽(tīng)亞馬遜智能助手Alexa的請求，并在視頻通話(huà)中對人們的情緒進(jìn)行分類(lèi)。他們給食物貼上標簽，這樣智能冰箱就不會(huì )被新包裝弄混，在發(fā)出警報之前檢查自動(dòng)安全攝像頭，并幫助陷入困惑的自動(dòng)拖拉機識別玉米。

02 注釋是一門(mén)大生意，催生了“最年輕白手起家億萬(wàn)富翁”

非營(yíng)利組織Partnership on AI的項目和研究負責人索納姆·金達爾（Sonam Jindal）說(shuō)：“這是一條完整的供應鏈。業(yè)界的普遍看法是，這項工作不是技術(shù)開(kāi)發(fā)的關(guān)鍵部分，不會(huì )繁榮很長(cháng)時(shí)間。所有的興奮都圍繞著(zhù)構建人工智能擴散，一旦我們構建了它，就不再需要注釋了，所以為什么要費心考慮它呢？但數據標記是人工智能的基礎，就像人類(lèi)智能是人工智能的基礎那樣，我們需要將這些視為人工智能經(jīng)濟中真正的工作，這些工作將在很長(cháng)時(shí)間內繼續存在?！?/p>

OpenAI、谷歌和微軟等我們所熟知名字背后的數據供應商以不同的形式出現。還有些私人外包公司擁有類(lèi)似呼叫中心的辦公室，比如位于肯尼亞和尼泊爾的CloudFactory，喬在那里做注釋工作，時(shí)薪1.2美元，然后才轉投Remotasks。

還有像Mechanical Turk和Clickworker這樣的“眾工”網(wǎng)站，任何人都可以注冊來(lái)完成任務(wù)。處于中間的是Scale AI之類(lèi)的服務(wù)。任何人都可以注冊，但每個(gè)人都必須通過(guò)資格考試和培訓課程，并接受績(jì)效監控。注釋是一門(mén)大生意。Scale AI由當時(shí)19歲的亞歷山大·王(Alexander Wang)于2016年創(chuàng )立，2021年的估值為73億美元，使他進(jìn)入《福布斯》“最年輕白手起家億萬(wàn)富翁”之列。

這條錯綜復雜的供應鏈，外人很難了解。據業(yè)內人士透露，購買(mǎi)標記數據的公司要求嚴格保密。注釋有時(shí)候會(huì )泄露正在開(kāi)發(fā)的人工智能系統信息，而大量注釋人員的加入使得泄漏難以防止。注釋員總是被警告不要告訴任何人他們的工作，甚至不要告訴他們的朋友和同事。最重要的是，極端的勞動(dòng)分工確保了他們沒(méi)有足夠的信息來(lái)談?wù)撟约旱墓ぷ?，即使他們想說(shuō)也沒(méi)辦法。

有鑒于此，沒(méi)有辦法對從事注釋工作的人數進(jìn)行詳細的估計，但可以肯定的是，從業(yè)人數很多，而且還在快速增長(cháng)。谷歌研究院最近發(fā)表了一篇論文，對注釋員的數量給出含糊的估計，約有“數百萬(wàn)人”，將來(lái)甚至有可能達到“數十億”。

自動(dòng)化常常以令人意想不到的方式到來(lái)。醫療數據注釋公司Centaur Labs的首席執行官埃里克·杜海姆(Erik Duhaime)回憶說(shuō)，幾年前，多位知名機器學(xué)習工程師預測，人工智能將取代放射科醫生的工作。當這種情況沒(méi)有發(fā)生時(shí)，傳統看法轉為放射科醫生將使用人工智能作為工具。

杜海姆認為，這兩種情況都沒(méi)有發(fā)生。人工智能非常擅長(cháng)特定的任務(wù)，這促使工作被分解，并分配給專(zhuān)門(mén)的算法系統和同樣專(zhuān)業(yè)的人類(lèi)。他舉例稱(chēng)，人工智能系統可能能夠發(fā)現癌癥，但只能在特定類(lèi)型的機器、特定類(lèi)型的圖像中發(fā)現。所以，你需要有人來(lái)幫助檢查人工智能是否被輸入了正確類(lèi)型的數據，也許還需要其他人來(lái)檢查它的工作，然后再把它交給另一個(gè)人工智能撰寫(xiě)報告，最后再交給人類(lèi)。杜海姆說(shuō)：“人工智能不會(huì )取代人類(lèi)的工作，但它確實(shí)改變了工作的組織方式?！?/p>

如果你認為人工智能是一臺聰明的、會(huì )思考的機器，你可能會(huì )忽略它背后的人類(lèi)。杜海梅認為，人工智能對現代工作的影響就像是從工匠過(guò)度到工業(yè)制造時(shí)代：連貫的過(guò)程被分解成小任務(wù)，沿著(zhù)裝配線(xiàn)排列，有些步驟由機器完成，有些由人類(lèi)完成，但與以前的情況完全不同。

對人工智能將帶來(lái)顛覆的擔憂(yōu)常常被反駁為，人工智能自動(dòng)化了某些任務(wù)，而不是整個(gè)工作。這些任務(wù)通常是乏味而枯燥的，可以讓人們去追求更有成就感、更人性化的工作。但同樣可能的是，人工智能的崛起看起來(lái)也像過(guò)去節省勞動(dòng)力的技術(shù)，也許就像電話(huà)或打字機那樣，它們消除了傳遞信息和手寫(xiě)的苦差事，但產(chǎn)生了更多有關(guān)通信、商業(yè)和文書(shū)方面的工作，以至于需要由文員、會(huì )計師、打字員等新型員工組成的新辦公室來(lái)管理這些工作。當人工智能加入你的工作時(shí)，你可能不會(huì )失去工作，但它可能會(huì )變得更陌生、更孤立、更乏味。

03 將復雜的現實(shí)簡(jiǎn)化為機器可以讀懂的東西

今年早些時(shí)候，記者齊耶扎注冊了Remotasks的工作。這個(gè)過(guò)程很簡(jiǎn)單。只需要輸入電腦規格、網(wǎng)速和基本的聯(lián)系信息，就可以進(jìn)入“培訓中心”。為了獲得付費任務(wù)，齊耶扎首先必須完成相關(guān)的、但沒(méi)有任何報酬的入門(mén)課程。培訓中心展示了一系列課程，這些課程的名字令人難以理解，比如膠水泳衣和海報夏威夷等。齊耶扎點(diǎn)擊了名為GFD Chunking的東西，它要求在社交媒體照片中給衣服貼標簽。

除此之外，還有關(guān)于任務(wù)的指示說(shuō)明，比如必須給真實(shí)的、可以供人類(lèi)穿著(zhù)或打算供真人穿著(zhù)的物品貼標簽。齊耶扎對自己區分真人可以穿的真衣服和不能穿的假衣服的能力充滿(mǎn)信心，于是他開(kāi)始了測試。然而，他馬上遭到了當頭一擊：電腦給出一張雜志圖片，上面是一位穿著(zhù)裙子的女性照片。衣服的照片應該被視為真正的衣服嗎？不，齊耶扎想，因為人不能穿衣服的照片。結果顯示錯誤！因為在人工智能看來(lái)，真衣服的照片就相當于真衣服。

接下來(lái)的照片是一個(gè)女人在昏暗的臥室里對著(zhù)一面全身鏡自拍。她穿的襯衫和短褲是真衣服，那衣服的倒影也是真的嗎？齊耶扎同樣給出了否定答案，但人工智能系統認為，真實(shí)衣服的倒影也應該是真實(shí)的衣服。

在經(jīng)歷了令人尷尬的反復試驗之后，齊耶扎終于開(kāi)始了真正的工作，但他卻驚恐地發(fā)現，他一直在努力遵循的指示已經(jīng)被更新了很多次，而且長(cháng)度增至43頁(yè)，包括不要在裝滿(mǎn)衣服的打開(kāi)的行李箱上貼標簽；不要給鞋子貼標簽，但要給腳蹼貼標簽；要給緊身褲貼標簽，但不要給緊身衣貼標簽；即使有人穿著(zhù)毛巾，也不要給毛巾貼標簽；給服裝貼標簽，但不要給盔甲貼標簽。等等......

德國魏森鮑姆研究所(Weizenbaum Institute)研究數據工作的研究員米拉格羅斯·米塞利(Milagros Miceli)表示，整個(gè)行業(yè)都存在指示說(shuō)明普遍混亂的情況。在某種程度上，這是機器學(xué)習系統學(xué)習方式的產(chǎn)物。人類(lèi)只需要幾個(gè)例子就能理解“襯衫”的概念，而機器學(xué)習程序需要成千上萬(wàn)個(gè)例子，而且它們需要以完美的一致性和足夠的多樣性（馬球衫、戶(hù)外穿的襯衫、掛在架子上的襯衫)進(jìn)行分類(lèi)，這樣系統才能處理現實(shí)世界的多樣性。米塞利說(shuō)：“想象一下，我們需要將復雜的現實(shí)簡(jiǎn)化為笨拙機器可以閱讀的東西?！?/p>

對于機器來(lái)說(shuō)，簡(jiǎn)化現實(shí)的行為會(huì )給其帶來(lái)極大的復雜性。指令編寫(xiě)者必須提出規則，使人類(lèi)能夠以完美的一致性對世界進(jìn)行分類(lèi)。為了做到這一點(diǎn)，他們經(jīng)常創(chuàng )建人類(lèi)不會(huì )使用的類(lèi)別。如果一個(gè)人被要求給一張照片中的所有襯衫貼上標簽，他可能不會(huì )給鏡子里的襯衫貼上標簽，因為他們知道那是反射的影子，并非真實(shí)的衣服。但對于不了解現實(shí)世界的人工智能來(lái)說(shuō)，這只是像素，兩者是完全相同的。如果數據集中有些襯衫被標記，而其他反射的襯衫沒(méi)有被標記，那么該模型將不起作用。于是，工程師帶著(zhù)更新的信息回到供應商那里，要求給鏡子反射的襯衫貼標簽。很快，你就會(huì )有另一份長(cháng)達43頁(yè)的指南，上面全是紅色的大寫(xiě)字母。

注釋員的工作通常是把人類(lèi)的理解放在一邊，非常非常嚴格地按照指示去做。正如一位注釋員所說(shuō)，像機器人一樣思考。這是一個(gè)奇怪的精神空間，盡你所能遵循荒謬但嚴格的規則，就像在服用致幻劑時(shí)參加標準測試那樣。注釋員總是會(huì )遇到些令人困惑的問(wèn)題，比如，這是一件帶有白色條紋的紅襯衫還是一件帶有紅色條紋的白襯衫？如果柳條碗里裝滿(mǎn)了蘋(píng)果，那它是“裝飾碗”嗎？豹紋是什么顏色的？每個(gè)問(wèn)題都必須回答，一個(gè)錯誤的猜測可能會(huì )讓你被禁，并啟動(dòng)一個(gè)全新的、完全不同的任務(wù)，它有自己令人費解的規則。

04 按件計酬，每隔三個(gè)小時(shí)就要查看任務(wù)

Remotasks上的大部分工作都是按件計酬的，一項任務(wù)的收入從幾美分到幾美元不等。因為任務(wù)可能需要幾秒鐘或幾個(gè)小時(shí)完成，所以工資很難預測。當Remotasks剛進(jìn)入肯尼亞時(shí)，注釋員說(shuō)它的報酬相對較高。根據任務(wù)的不同，平均每小時(shí)大約5到10美元。但隨著(zhù)時(shí)間的推移，報酬會(huì )下降。

Scale AI發(fā)言人安娜·弗蘭科(Anna Franko)表示，該公司的經(jīng)濟學(xué)家會(huì )分析項目的細節、所需的技能、地區生活成本和其他因素，“以確保公平和有競爭力的薪酬”。Scale AI的前員工還表示，薪酬是通過(guò)一種類(lèi)似暴漲定價(jià)的機制確定的，該機制會(huì )根據可用的注釋員數量和需要數據的速度進(jìn)行調整。統計顯示，美國的Remotasks注釋員通常每小時(shí)可賺10到25美元，但有些專(zhuān)業(yè)標注領(lǐng)域的專(zhuān)家報酬更高。到今年年初，肯尼亞注釋員的工資已經(jīng)降到了每小時(shí)1到3美元（約合人民幣7到22元）。

對遠程任務(wù)工作最常見(jiàn)的抱怨是其易變性。這類(lèi)工作足夠穩定，可以作為一份長(cháng)期全職工作，但有太多不可預測性，不能完全依賴(lài)它。注釋員花費數小時(shí)閱讀說(shuō)明并完成無(wú)償培訓，只是為了完成十幾個(gè)任務(wù)，然后項目就結束了?？赡軒滋於紱](méi)有什么新任務(wù)，然后，毫無(wú)征兆地，一個(gè)完全不同的任務(wù)出現了，可能持續幾小時(shí)到幾周。任何任務(wù)都可能是他們的最后任務(wù)，他們也永遠不知道下一個(gè)任務(wù)什么時(shí)候會(huì )到來(lái)。

工程師和數據供應商表示，這種繁榮與蕭條的周期源于人工智能的開(kāi)發(fā)節奏。訓練一個(gè)大型模型需要大量的注釋?zhuān)缓笫歉嗟牡?，工程師們希望所有這些都盡可能快地進(jìn)行，這樣他們就能趕上目標發(fā)布日期。他們可能在幾個(gè)月的時(shí)間里需要數千名注釋員，然后降至幾百人，最后只需要十幾名特定類(lèi)型的專(zhuān)家。這個(gè)過(guò)程有時(shí)候會(huì )循環(huán)進(jìn)行?！皢?wèn)題是，誰(shuí)來(lái)承擔這些波動(dòng)的成本?”P(pán)artnership on AI的金達爾說(shuō)。

要想取得成功，注釋員必須協(xié)同工作。維克多在內羅畢上大學(xué)時(shí)就開(kāi)始為Remotasks工作，當有人告訴他在交通管制任務(wù)中遇到困難時(shí)，他說(shuō)每個(gè)人都知道要遠離那個(gè)任務(wù)：太棘手，薪水低，不值得。像許多注釋員一樣，當有好任務(wù)出現時(shí)，維克多會(huì )使用非官方的WhatsApp群來(lái)傳播消息。當他想出一個(gè)新點(diǎn)子時(shí)，他就會(huì )開(kāi)始即興的谷歌會(huì )議，向其他人展示如何做到這一點(diǎn)。任何人都可以加入并一起工作一段時(shí)間，分享技巧。他說(shuō)：“我們已經(jīng)形成了一種互相幫助的文化，因為我們知道，一個(gè)人不可能知道所有的訣竅?！?/p>

因為工作毫無(wú)征兆地出現又消失，所以注釋員總是需要保持警惕。維克多發(fā)現，項目通常會(huì )在深夜突然出現，所以他習慣每三個(gè)小時(shí)左右就起來(lái)檢查一次。當有任務(wù)時(shí)，他會(huì )一直保持清醒。有一次，他連續36個(gè)小時(shí)不睡覺(jué)，在人群的照片中給肘部、膝蓋和頭部做標記，盡管他也不知道為什么。還有一次，他熬夜太久，以至于眼睛紅腫不堪。

注釋員通常只知道他們正在為其他地方的公司訓練人工智能系統，但有時(shí)匿名的面紗會(huì )消失，指示說(shuō)明中提到的品牌或聊天機器人線(xiàn)索太多了。一名注釋員稱(chēng)：“我讀了指示說(shuō)明，在谷歌上進(jìn)行了搜索，發(fā)現我在為一位25歲的億萬(wàn)富翁工作。如果我讓某人成為億萬(wàn)富翁，而我每周能賺幾美元，那我真的是在浪費生命?！?/p>

維克多自稱(chēng)是人工智能的“狂熱信徒”，他開(kāi)始做注釋工作是因為他想幫助實(shí)現一個(gè)完全自動(dòng)化的未來(lái)。但今年早些時(shí)候，有人在他的WhatsApp群里發(fā)了一篇《時(shí)代》雜志的報道，講的是供應商Sama AI的員工培訓ChatGPT識別有毒內容的情況，他們的時(shí)薪不到2美元。維克多說(shuō)：“人們對這些公司利潤豐厚但薪酬卻如此之低感到憤怒?！敝钡奖桓嬷猂emotasks與Scale AI的聯(lián)系，他才知道兩者的關(guān)系。他參與的其中一項任務(wù)的說(shuō)明與OpenAI使用的幾乎相同，這意味著(zhù)他可能也參與了ChatGPT的訓練，時(shí)薪大約為3美元?！?/p>

我記得有人發(fā)帖說(shuō)，我們將來(lái)會(huì )被人銘記，”他說(shuō)。零一人回答說(shuō)：“我們受到的待遇比步兵還差。我們在未來(lái)的任何地方都不會(huì )被記住，這一點(diǎn)我記得很清楚。沒(méi)有人會(huì )認可我們所做的工作和付出的努力?！?/p>

識別服裝和標注客戶(hù)服務(wù)對話(huà)只是注釋工作中的一小部分。最近，市場(chǎng)上最熱門(mén)的是聊天機器人培訓師。因為它需要特定領(lǐng)域的專(zhuān)業(yè)知識或語(yǔ)言流利程度，而且工資往往會(huì )根據地區進(jìn)行調整，所以這份工作的薪酬往往更高。某些類(lèi)型的專(zhuān)業(yè)注釋每小時(shí)薪酬可達50美元或更多。

一個(gè)名叫安娜(Anna)的女人在得克薩斯州找工作時(shí)，偶然發(fā)現了一個(gè)通用的在線(xiàn)工作清單，于是她申請了工作。在通過(guò)了入門(mén)考試后，她被帶進(jìn)了一個(gè)有1500人的Slack房間，那里正在訓練代號為Dolphin的項目，后來(lái)她發(fā)現這是谷歌DeepMind的聊天機器人Sparrow，它是與ChatGPT競爭的眾多聊天機器人之一。安娜的工作就是整天和Sparrow聊天，時(shí)薪約為14美元，加上工作效率高的獎金，“這絕對比在當地超市打工賺取10美元時(shí)薪要好”。

05 AI響應三大標準：準確性、有用性和無(wú)害性

而且，安娜很喜歡這份工作。她與Sparrow討論過(guò)科幻小說(shuō)、數學(xué)悖論、兒童謎語(yǔ)和電視節目等話(huà)題。有時(shí)，聊天機器人的回答會(huì )讓她大笑不止。有時(shí)候，她也會(huì )覺(jué)得無(wú)話(huà)可說(shuō)。安娜稱(chēng)：“有時(shí)候，我真的不知道到底該問(wèn)什么，所以我有一個(gè)小筆記本，里面已經(jīng)寫(xiě)了兩頁(yè)的東西。我在谷歌上搜尋有趣的話(huà)題，所以我認為自己可以很好地應付七個(gè)小時(shí)，但情況并非總是如此?！?/p>

每次安娜提示Sparrow時(shí)，它都會(huì )給出兩個(gè)回答，然后她要選出最好的一個(gè)，從而創(chuàng )造出所謂的“人類(lèi)反饋數據”。當ChatGPT去年年底首次亮相時(shí)，其令人印象深刻的自然對話(huà)風(fēng)格被歸功于它經(jīng)過(guò)了大量互聯(lián)網(wǎng)數據的訓練。但是，為ChatGPT及其競爭對手提供動(dòng)力的語(yǔ)言是經(jīng)過(guò)幾輪人工注釋過(guò)濾的。

一組承包商編寫(xiě)了工程師希望聊天機器人如何表現的示例，他們先提出問(wèn)題然后給出正確答案，描述計算機程序然后給出功能代碼，詢(xún)問(wèn)犯罪技巧然后禮貌地拒絕。在用這些例子對模型進(jìn)行訓練之后，還會(huì )引入更多的承包商來(lái)提示它并對其響應進(jìn)行排序。這就是安娜對Sparrow所做的。

確切地說(shuō)，評分者被告知使用的標準各不相同，比如誠實(shí)、樂(lè )于助人或只是個(gè)人偏好等。關(guān)鍵是，他們正在創(chuàng )造關(guān)于人類(lèi)品味的數據，一旦有了足夠的數據，工程師們就可以訓練第二個(gè)模型來(lái)大規模模仿他們的偏好，使排名過(guò)程自動(dòng)化，并訓練他們的人工智能以人類(lèi)認可的方式行事。結果是一個(gè)非常像人類(lèi)的機器人誕生了，它基本上會(huì )拒絕有害的請求，并以似乎有自我意識的方式解釋了它的人工智能本質(zhì)。

換句話(huà)說(shuō)，ChatGPT看起來(lái)很人性化，因為它是由一個(gè)模仿人類(lèi)的人工智能訓練出來(lái)的，而這個(gè)人工智能正在模仿人類(lèi)行事。

這種技術(shù)被稱(chēng)為“從人類(lèi)反饋中強化學(xué)習”，簡(jiǎn)稱(chēng)RLHF，它非常有效，可以停下反思人工智能沒(méi)有做的事情。例如，當注釋員教模型要準確時(shí)，模型并沒(méi)有學(xué)習根據邏輯或外部來(lái)源檢查答案，甚至不知道作為概念，準確性到底為何物。盡管這個(gè)模型仍然是一個(gè)模仿人類(lèi)寫(xiě)作模式的文本預測機器，但現在它的訓練語(yǔ)料庫已經(jīng)補充了定制的示例，并且該模型已經(jīng)加權以支持它們。

這可能會(huì )促使模型從其語(yǔ)言地圖中被標記為準確的部分提取模式，并產(chǎn)生恰好與事實(shí)相符的文本，但也可能導致它模仿準確文本的自信風(fēng)格和專(zhuān)業(yè)術(shù)語(yǔ)，同時(shí)寫(xiě)出完全錯誤的東西。不能保證注釋員標記為準確的文本實(shí)際上是準確的。即使它是準確的，也不能保證模型從中學(xué)習到正確的模式。

這種動(dòng)態(tài)使得為聊天機器人注釋并不容易。它必須是嚴格和一致的，因為草率的反饋，比如把聽(tīng)起來(lái)正確的材料標記為準確的，可能會(huì )讓訓練出來(lái)的模型更有說(shuō)服力。OpenAI和DeepMind在早期的聯(lián)合項目中使用了RLHF，在這個(gè)案例中，訓練虛擬機器人手抓取物品，結果也訓練了機器人的手在物體和它的評分者之間的位置，并在周?chē)鷶[動(dòng)，這樣它就只會(huì )出現在它的人類(lèi)監督者面前。

對語(yǔ)言模型的響應進(jìn)行排名總是有些主觀(guān)，因為這是一種語(yǔ)言。任何長(cháng)度的文本都可能包含多個(gè)元素，這些元素可能是正確的，也可能是錯誤的，或者具有誤導性。OpenAI的研究人員在另一篇早期RLHF論文中遇到了這個(gè)障礙。為了讓他們的模型對文本進(jìn)行總結，研究人員發(fā)現，只有60%的模型總結是好的?！芭c機器學(xué)習中的許多任務(wù)不同，我們的查詢(xún)沒(méi)有明確的基本事實(shí)，”他們哀嘆道。

當安娜給Sparrow的回答打分時(shí)，她應該查看它們的準確性、有用性和無(wú)害性，同時(shí)還要檢查這個(gè)模型沒(méi)有給出醫療或財務(wù)建議，沒(méi)有把自己擬人化，也沒(méi)有違反其他標準。為了成為有用的訓練數據，模型的反應必須被量化地排序：一個(gè)能告訴你如何制造 炸彈的機器人比一個(gè)拒絕回答任何問(wèn)題的無(wú)害機器人“更好”嗎？

在DeepMind的一篇論文中，當Sparrow的制造者輪流注釋時(shí)，四名研究人員爭論他們的機器人是否假設了向其尋求情感建議的用戶(hù)的性別。據DeepMind的研究科學(xué)家杰弗里·歐文(Geoffrey Irving)介紹，該公司的研究人員每周都會(huì )舉行注釋會(huì )議，在會(huì )上他們自己審核數據，討論模棱兩可的案例。當某個(gè)案例特別棘手時(shí)，他們會(huì )咨詢(xún)倫理或主題專(zhuān)家。

安娜經(jīng)常發(fā)現，她不得不在兩個(gè)糟糕的選擇中做出選擇。她說(shuō)：“即使它們都是錯得離譜的答案，你仍然需要找出哪一個(gè)更好，然后寫(xiě)下解釋原因的文字?！庇袝r(shí)，當兩個(gè)回答都不好時(shí)，她會(huì )被鼓勵自己給出更好的回答。在訓練過(guò)程中，約有半數時(shí)間需要她這樣做。

06 注釋越來(lái)越需要特定技能和專(zhuān)業(yè)知識

因為反饋的數據很難收集，所以出售的價(jià)格更高。據了解該行業(yè)的人士透露，安娜正在收集的這類(lèi)基本偏好數據售價(jià)約為每條1美元。但如果你想訓練一個(gè)模特做法律研究，你需要一個(gè)受過(guò)法律培訓的人，這會(huì )導致成本增加。參與其中的每個(gè)人都不愿透露自己到底花了多少錢(qián)，但一般來(lái)說(shuō)，專(zhuān)業(yè)的書(shū)面示例可能要幾百美元，而專(zhuān)家評級可能要50美元或更多。一位工程師透露，他曾花300美元買(mǎi)過(guò)Socratic對話(huà)的樣本。

OpenAI、微軟、Meta和Anthropic沒(méi)有透露有多少人為他們的模型貢獻了注釋?zhuān)麄兊膱蟪晔嵌嗌?，或者他們位于世界的什么地方。谷歌姊妹公司DeepMind的歐文說(shuō)，在Sparrow上工作的注釋員根據他們所在的位置，得到的報酬至少相當于最低工資的時(shí)薪。安娜對Remotasks“一無(wú)所知”，但對Sparrow更了解，知道它是DeepMind的人工智能助手，其創(chuàng )建者使用RLHF對它進(jìn)行了培訓。

直到最近，發(fā)現語(yǔ)言模型的不良輸出還是相對容易的，看起來(lái)像是胡言亂語(yǔ)。但隨著(zhù)模型變得越來(lái)越好，這樣的工作變得更加困難，這是個(gè)被稱(chēng)為“可擴展監督”的問(wèn)題。谷歌在其人工智能助手Bard首次亮相時(shí)使用了現代語(yǔ)言模型，這無(wú)意中證明了發(fā)現現代語(yǔ)言模型的錯誤是多么困難。這條軌跡意味著(zhù)，注釋越來(lái)越需要特定的技能和專(zhuān)業(yè)知識。

去年，一個(gè)叫劉易斯（Lewis）的人在Mechanical Turk上工作，在完成一項任務(wù)后，他收到了一條消息，邀請他加入一個(gè)他從未聽(tīng)說(shuō)過(guò)的平臺。它被稱(chēng)為T(mén)askup.ai，這個(gè)網(wǎng)站非常簡(jiǎn)單，只有一個(gè)海軍背景，上面寫(xiě)著(zhù)“按需付費”的文字。劉易斯選擇了注冊。

這份工作的報酬比他以前做過(guò)的其他工作都要高得多，通常是每小時(shí)30美元左右。不過(guò)，它也更具挑戰性，要求設計復雜的場(chǎng)景來(lái)欺騙聊天機器人給出危險的建議，測試模型保持自身角色的能力，以及就科學(xué)話(huà)題進(jìn)行詳細的對話(huà)，這些話(huà)題有很強的技術(shù)性，需要進(jìn)行廣泛的研究。劉易斯覺(jué)得這份工作“令人滿(mǎn)意、令人興奮”。在檢查一個(gè)模型嘗試用Python編寫(xiě)代碼的同時(shí)，劉易斯也在學(xué)習。他不能連續工作超過(guò)4個(gè)小時(shí)，以免精神疲憊導致犯下錯誤，他想保住這份工作。

劉易斯說(shuō)：“如果有什么是我可以改變的，我只想知道更多關(guān)于另一端發(fā)生了什么。我們只知道完成工作所需的知識，但如果我能知道得更多，也許我就能取得更大成就，也許還能把它當成一種職業(yè)?！?/p>

科技調查記者齊耶扎采訪(fǎng)了另外八人，他們大多在美國工作，都有類(lèi)似的經(jīng)歷，即在其他平臺上回答調查或完成任務(wù)，然后發(fā)現自己被Taskup.ai或幾個(gè)類(lèi)似網(wǎng)站錄用了，比如DataAnnotation.tech或Gethybrid.io。他們的工作通常涉及訓練聊天機器人，盡管與他們工作過(guò)的其他網(wǎng)站相比，他們對聊天機器人的質(zhì)量要求更高，目的也更專(zhuān)業(yè)。其中一個(gè)是演示電子表宏，另一個(gè)只需要進(jìn)行對話(huà)，并根據她想要的任何標準對回應進(jìn)行評級。她經(jīng)常問(wèn)聊天機器人一些問(wèn)題，這些問(wèn)題在與7歲女兒聊天時(shí)也會(huì )出現，比如“最大的恐龍是什么?”，“寫(xiě)一個(gè)關(guān)于老虎的故事?！?/p>

Taskup.ai、DataAnnotation.tech和Gethybri.io似乎都屬于同一家公司：Surge AI。其首席執行官埃德溫·陳（Edwin Chen）既不愿證實(shí)也不否認這一聯(lián)系，但他愿意談?wù)撍墓疽约八绾慰创⑨尩难葑儭?/p>

埃德溫表示：“我一直覺(jué)得標注領(lǐng)域過(guò)于簡(jiǎn)單化了?！痹诠雀?、Facebook和推特從事人工智能研究后，他確信眾包標簽是不夠的，并于2020年創(chuàng )立了Surge AI。埃德溫說(shuō)：“我們希望人工智能可以講笑話(huà)，寫(xiě)很好的營(yíng)銷(xiāo)文案，或者在我需要治療的時(shí)候幫助我。但不是每個(gè)人都能講笑話(huà)或解決Python編程問(wèn)題的，注釋領(lǐng)域需要從這種低質(zhì)量、低技能的思維模式轉變?yōu)楦S富的東西，并捕捉到我們希望人工智能系統擁有的人類(lèi)技能、創(chuàng )造力和價(jià)值觀(guān)?！?/p>

07 機器學(xué)習系統太奇怪了，永遠不能完全信任

去年，Surge AI重新標記了谷歌根據情緒對Reddit帖子進(jìn)行分類(lèi)的數據集。谷歌剝離了每條帖子的上下文，并將其發(fā)送給印度的注釋員進(jìn)行標注。熟悉美國互聯(lián)網(wǎng)文化的Surge AI員工發(fā)現，30%的標注是錯誤的。像“見(jiàn)鬼了，我的兄弟”這樣的帖子被歸類(lèi)為“討厭”，而“涼爽麥當勞，我的最?lèi)?ài)”則被歸入“喜愛(ài)”行列。

埃德溫表示，Surge AI會(huì )審查注釋員的資質(zhì)，比如從事創(chuàng )意寫(xiě)作任務(wù)的人是否有創(chuàng )意寫(xiě)作的經(jīng)驗，但具體如何尋找員工是“秘密”。與Remotasks一樣，工作人員通常必須完成培訓課程，盡管與Remotasks不同的是，培訓期間接受任務(wù)可以得到報酬。擁有更少、更訓練有素的員工，產(chǎn)生更高質(zhì)量的數據，使得Surge AI的薪酬比同行更高，但他拒絕詳細說(shuō)明，只說(shuō)員工的工資是“公平、合乎道德水平”。這類(lèi)注釋員的時(shí)薪在15美元到30美元之間，但他們只是所有注釋員中的一小部分，這個(gè)群體現在有10萬(wàn)人。他解釋說(shuō)，這種保密源于客戶(hù)的要求。

Surge AI的客戶(hù)包括OpenAI、谷歌、微軟、Meta和Anthropic。Surge AI專(zhuān)注于反饋和語(yǔ)言注釋?zhuān)贑hatGPT推出后，它收到了大量的請求，埃德溫說(shuō)：“我以為每個(gè)人都知道RLHF的力量，但我猜人們只是沒(méi)有從內心上理解?！?/p>

這些新模型令人印象深刻，它們激發(fā)了新一輪的預測，即注釋即將實(shí)現自動(dòng)化?？紤]到所涉及的費用，這樣做的財政壓力很大。Anthropic、Meta和其他公司最近在使用人工智能方面取得了長(cháng)足的進(jìn)步，減少了指導模型所需的人工注釋量，其他開(kāi)發(fā)人員已經(jīng)開(kāi)始使用GPT-4來(lái)生成訓練數據。

然而，最近的一篇論文發(fā)現，經(jīng)過(guò)GPT-4訓練的模型可能正在學(xué)習模仿GPT的權威風(fēng)格，準確性更低。到目前為止，當人工智能的改進(jìn)使一種形式的標注過(guò)時(shí)時(shí)，對其他更復雜類(lèi)型的標注需求就會(huì )上升。今年早些時(shí)候，這場(chǎng)辯論公開(kāi)化了，Scale AI的首席執行官在推特上說(shuō)，他預測人工智能實(shí)驗室在人類(lèi)數據上的投入將很快達到數十億美元，就像他們在算上的投入一樣。OpenAI首席執行官薩姆·奧特曼（Sam Altman）回應說(shuō)，隨著(zhù)人工智能的進(jìn)步，數據需求將會(huì )減少。

埃德溫懷疑人工智能是否會(huì )達到不再需要人類(lèi)反饋的程度，但他確實(shí)看到，隨著(zhù)模型的改進(jìn)，標注變得越來(lái)越困難。像許多研究人員一樣，他認為未來(lái)的道路將涉及人工智能系統幫助人類(lèi)監督其他人工智能。Surge AI最近與Anthropic合作進(jìn)行了一個(gè)概念驗證，讓人類(lèi)注釋員在一個(gè)不可靠人工智能助手的幫助下回答關(guān)于一篇冗長(cháng)文本的問(wèn)題，其理論是人類(lèi)必須感覺(jué)到他們人工智能助手的弱點(diǎn)，并合作推理找到正確答案。

另一種可能性是兩個(gè)人工智能相互辯論，然后由人類(lèi)做出最終判斷。OpenAI研究科學(xué)家約翰·舒爾曼（John Schulman）最近在伯克利的一次演講中表示：“我們還沒(méi)有看到這種東西真正的實(shí)際應用潛力，但它開(kāi)始變得必要，因為注釋員很難跟上模型的進(jìn)步?！?/p>

埃德溫說(shuō)：“我認為你總是需要一個(gè)人來(lái)監視人工智能在做什么，就因為他們是這種外星人。機器學(xué)習系統太奇怪了，永遠不能完全信任。當今最令人印象深刻的模型有些在人類(lèi)看來(lái)似乎非常奇怪的弱點(diǎn)。盡管GPT-4可以生成復雜而令人信服的文本，但它無(wú)法辨別出哪些詞是形容詞?！?/p>

08 隨著(zhù)任務(wù)流動(dòng)，ChatGPT幫了大忙

隨著(zhù)2022年的結束，喬開(kāi)始從他的學(xué)生那里聽(tīng)說(shuō)，他們的任務(wù)清單經(jīng)常是空的。然后他收到一封電子郵件，通知他肯尼亞的訓練營(yíng)即將關(guān)閉。他繼續在網(wǎng)上培訓任務(wù)，但他開(kāi)始擔心未來(lái)?！?/p>

有跡象表明，這種情況不會(huì )持續太久，”喬說(shuō)。注釋工作即將離開(kāi)肯尼亞。從他在網(wǎng)上認識的同事那里，他聽(tīng)說(shuō)這類(lèi)任務(wù)要被送去尼泊爾、印度和菲律賓。喬說(shuō)：“公司從一個(gè)地區轉移到另一個(gè)地區。他們在當地沒(méi)有基礎設施，因此可以靈活地轉移到運營(yíng)成本對他們更有利的地方?！?/p>

人工智能行業(yè)與手機和汽車(chē)制造商的一個(gè)不同之處在于它的流動(dòng)性。這項工作在不斷變化，不斷實(shí)現自動(dòng)化，取而代之的是對新類(lèi)型數據的新需求。這是一條流水線(xiàn)，但它可以不斷地、迅速地重新配置，移動(dòng)到任何有合適技能、帶寬和薪資的地方。

最近，注釋任務(wù)薪水最高的工作回到美國。今年5月，Scale AI開(kāi)始在自己的網(wǎng)站上列出注釋工作，招聘在人工智能有望征服的幾乎所有領(lǐng)域都有經(jīng)驗的人。其中有些人工智能培訓師的名單，他們擁有健身教練、人力資源、金融、經(jīng)濟、數據科學(xué)、編程、計算機科學(xué)、化學(xué)、生物、會(huì )計、稅務(wù)、營(yíng)養、物理、旅游、K-12教育、體育新聞和自助等領(lǐng)域的專(zhuān)業(yè)知識。

你可以教機器人學(xué)習法律，每小時(shí)可以賺45美元；教它們詩(shī)歌，每小時(shí)可以賺25美元。網(wǎng)站上還列出了招募有安全經(jīng)驗的人，大概是為了幫助訓練軍事人工智能。Scale AI最近推出了一種名為Donovan的防御語(yǔ)言模型，該公司高管將其稱(chēng)為“人工智能戰爭中的彈藥”，并贏(yíng)得了參與陸軍機器人戰斗車(chē)輛項目的合同。

安娜仍在得克薩斯州訓練聊天機器人。同事們變成了評論者和Slack管理員，她不知道為什么，但這給了她希望，這份工作可能是一份長(cháng)期的職業(yè)。她不擔心的一件事是被自動(dòng)化取代工作，她說(shuō)：“我的意思是，聊天機器人能做很多驚人的事情，但它們也會(huì )做些非常奇怪的事情?！?/p>

Remotasks剛進(jìn)入肯尼亞時(shí)，喬認為注釋可能是一份不錯的職業(yè)。即使在工作轉移到其他地方后，他也決心繼續從事這份工作。他推斷，內羅畢有成千上萬(wàn)的人知道如何做這項工作。畢竟，他訓練了很多人。喬在城里租了一間辦公室，開(kāi)始尋找外包合同：一份是為一家建筑公司標注設計圖的工作，另一份為某種農業(yè)項目標注被昆蟲(chóng)破壞的水果，還有一份是為自動(dòng)駕駛汽車(chē)和電子商務(wù)做標注的日常工作。

但喬發(fā)現，他的愿景很難實(shí)現。他現在只有一名全職員工，而之前有兩名。他說(shuō)：“我們一直沒(méi)有穩定的工作流程?！币驗榭蛻?hù)還在收集數據，所以好幾周都無(wú)事可做。當客戶(hù)收集完數據后，他不得不引入短期承包商來(lái)滿(mǎn)足他們的最后期限：“客戶(hù)不在乎我們是否有持續的工作。只要數據集標注工作完成，那就沒(méi)問(wèn)題了?！?/p>

為了不讓自己的技能被白白浪費掉，其他的任務(wù)執行者決定任務(wù)去哪里，他們也去哪里。他們租用代理服務(wù)器來(lái)掩飾自己的位置，購買(mǎi)假身份證來(lái)通過(guò)安全檢查，這樣他們就可以假裝在新加坡、荷蘭、密西西比州或任何任務(wù)流動(dòng)的地方工作。這是一項有風(fēng)險的業(yè)務(wù)。據多名任務(wù)執行者稱(chēng)，Scale AI越來(lái)越積極地暫停那些被發(fā)現隱瞞位置的賬戶(hù)?！?/p>

這些天來(lái)，我們變得有點(diǎn)聰明了，因為我們注意到，在其他國家，他們的工資很高，”維克多說(shuō)。他在馬來(lái)西亞工作的收入是肯尼亞的兩倍，但“你要謹慎行事”。

另一位肯尼亞注釋員說(shuō)，在他的賬戶(hù)因神秘原因被封后，他決定不再按規則行事?，F在，他在多個(gè)國家經(jīng)營(yíng)多個(gè)賬戶(hù)，在收入最高的地方執行任務(wù)。他說(shuō)，多虧了ChatGPT，他工作速度很快，質(zhì)量評分也很高。他說(shuō)，這個(gè)機器人很棒，能讓他在幾分鐘內快速完成10美元的任務(wù)。

來(lái)源：騰訊科技，原文標題：《揭秘ChatGPT背后的“AI民工”：枯燥重復、按件計酬，時(shí)薪低至1美元》。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：