證券時報
陳勇洲
2024-10-19 08:16
“字節(jié)跳動大模型訓練被實習生攻擊，涉事者已被辭退”的消息沖上多個平臺熱搜。
10月18日，多個微信群流傳一則消息：“某頭部大廠的大模型訓練被實習生入侵，注入了破壞代碼，導致其訓練成果不可靠，可能需要重新訓練。據(jù)稱遭到入侵的代碼注入了8000多張卡，帶來的損失可能超過千萬美元?！?/p>
對此，證券時報·e公司記者聯(lián)系字節(jié)跳動方面，截至發(fā)稿并未獲得回應。但接近字節(jié)人士對e公司記者透露，確有實習生破壞AI模型訓練，但損失金額和處理方式被夸大。
面臨安全管理問題
據(jù)界面新聞報道，從知情人士處獲悉，該頭部大廠為字節(jié)跳動。此事發(fā)生在今年6月，起因是某高校的博士在字節(jié)跳動商業(yè)化技術(shù)團隊實習，因?qū)F隊資源分配不滿，使用攻擊代碼破壞團隊的模型訓練任務。
傳聞顯示，該田姓實習生利用了HF（huggingface）的漏洞，在公司的共享模型里寫入破壞代碼，導致模型的訓練效果忽高忽低，無法產(chǎn)生預期的訓練效果，而且AML團隊無法核查原因。但傳聞曝出之后，該實習生還在某微信群里辟謠稱，自己發(fā)完論文后就從字節(jié)跳動離職，這個當口有另一個人鉆漏洞改模型代碼，把鍋扣到自己頭上。
據(jù)媒體從知情人士處了解到，字節(jié)跳動內(nèi)部已經(jīng)調(diào)查明確此事為田姓實習生所為。目前，該實習生已被辭退，字節(jié)跳動同時把此事同步給行業(yè)聯(lián)盟和該實習生所在的學校。但這名實習生被辭退后到處“辟謠”甩鍋，稱是其他人所為。
另有報道稱，一位技術(shù)安全專家向媒體表示，HF漏洞的產(chǎn)生通常與單一性集中訓練有關(guān)，此次事件暴露出字節(jié)跳動在技術(shù)訓練中的安全管理問題。公司既未實施權(quán)限隔離，也未做好共用代碼的審計工作。在正常情況下，每次大的代碼變動都應進行審計，并記錄操作痕跡，以確保無法單獨篡改代碼。
該技術(shù)安全專家指出，目前行業(yè)通用的做法是實施三級隔離導向性部署，每一級僅包含鏡像，并在每次操作前進行掃描。調(diào)用需按次計算，并必須提供密鑰。每一級完成后，才能進入下一級，同時上一級將自動刪除，以實現(xiàn)分級訓練。
實際上，e公司記者注意到，大模型在安全性方面的問題已經(jīng)受到業(yè)內(nèi)高度關(guān)注。今年8月，中國信通院發(fā)文稱，近年來，以大模型為核心的人工智能技術(shù)飛速發(fā)展，成為數(shù)字經(jīng)濟增長新動能。然而，作為新質(zhì)生產(chǎn)力的大模型在安全性方面仍存在較多缺陷，這為其大規(guī)模落地應用帶來了不確定性。近期，中國信通院發(fā)布的大模型安全基準AI Safety Benchmark的測試結(jié)果顯示，大模型（尤其是開源大模型）在惡意誘導手段下的攻擊成功率均較原始輸入有明顯提升。因此，對大模型進行安全對齊防護刻不容緩。
加碼大模型應用
今年以來，作為頭部互聯(lián)網(wǎng)大廠，字節(jié)跳動正在加碼大模型建設和應用。5月15日，字節(jié)跳動豆包大模型在火山引擎原動力大會上發(fā)布。火山引擎是字節(jié)跳動旗下云服務平臺，火山引擎總裁譚待現(xiàn)場介紹，豆包大模型正成為國內(nèi)使用量最大、應用場景最豐富的大模型之一，目前日均處理1200億Tokens文本，生成3000萬張圖片。豆包主力模型在企業(yè)市場的定價只有0.0008元/千Tokens，0.8厘就能處理1500多個漢字，比行業(yè)便宜99.3%。
此后，各大廠的大模型開啟大幅降價，價格戰(zhàn)愈演愈烈。
今年8月，字節(jié)跳動火山引擎宣布推出對話式AI實時交互解決方案，搭載火山方舟大模型服務平臺，通過火山引擎RTC實現(xiàn)語音數(shù)據(jù)的采集、處理和傳輸，并深度整合豆包·語音識別模型和豆包·語音合成模型，簡化語音到文本和文本到語音的轉(zhuǎn)換過程，提供智能對話和自然語言處理能力，幫助應用快速實現(xiàn)用戶和云端大模型的實時語音通話。
近期，字節(jié)跳動還宣告進軍AI視頻生成。9月24日，字節(jié)跳動旗下火山引擎發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型，面向企業(yè)市場開啟邀測。據(jù)火山引擎介紹，全新設計的擴散模型訓練方法攻克了多鏡頭切換的一致性難題。據(jù)火山引擎披露，截至9月，豆包語言模型的日均tokens使用量超過1.3萬億，相比5月首次發(fā)布時猛增十倍。
10月15日，在2024火山引擎視頻云技術(shù)大會上，火山引擎正式發(fā)布大模型訓練視頻預處理方案，該方案能夠有效解決視頻大模型訓練的成本、質(zhì)量和性能等方面的技術(shù)挑戰(zhàn)，并已應用于豆包·視頻生成模型中。
