數據寶
朱聽武
2024-10-16 18:15
越來越多殺豬盤在和生成式AI“聯姻”，讓愛情騙局更逼真。
10月14日，香港警方表示搗毀了一個詐騙窩點，詐騙者利用深度偽造技術換臉成年輕女性，誘使受害者投資虛擬貨幣產品，涉案金額超過3.6億港元。
“殺豬盤”是近年高發的一種詐騙形式。詐騙者通常會在社交平臺上打造一個虛假人設，以婚戀交友的方式“養豬”，最后實現錢財騙取，即“殺豬”。
近期聯合國毒品和犯罪問題辦公室（UNODC）在一份142頁的報告中，對這一新興犯罪現象發出了嚴厲警告——東南亞地區的詐騙者正在利用生成式AI和深度偽造技術，來擴大詐騙行動的規模和有效性。這份最新報告提供了迄今為止最明確的證據，比如去年亞太地區的深度偽造事件增加了1530%；近半年的監測數據顯示，暗網Telegram上面向詐騙團伙的深度偽造產品，增加了600%以上。
殺豬盤的國內社區討論里，已經有不少人表示自己遇到了主動要求視頻的“盤哥”“盤姐”。以前他們只能播放提前錄制的視頻，無法正常對話，現在嘴形和聲音都能匹配。
長期研究網絡犯罪的技術專家提醒，殺豬盤與AI技術“聯姻”，是為了增加信任感和真實感，但本質套路沒有發生改變。對普通人而言，能做的是提高對殺豬盤等網絡詐騙的整體警惕性。
主動視頻的“盤哥”“盤姐”
在過去，人們認為詐騙分子會“拒絕進行視頻通話”以免暴露身份，這一經驗如今面臨失效。
UNODC的報告指出，有強烈跡象表明，越來越多深度偽造的內容正在被東南亞詐騙團伙用于犯罪，尤其是“一鍵”換臉和高分辨率的視頻傳輸，改變了詐騙者的行騙方式。
報告解釋，詐騙者往往需要虛構一個外貌出眾、事業有成的人設作為“誘餌”，而現在的深度偽造技術可以操縱面部表情和聲音音調，允許在視頻中精確實時操縱面部。詐騙者因此能向受害者證明他們就是自己聲稱的那個人，制造出更有說服力的場景。
在本次香港警方偵破的案件中，詐騙團伙用深度偽造技術改變了視頻通話中的樣貌、音色、服裝，男性換臉為相貌姣好的年輕女性，聲音也隨之改變。
目前殺豬盤的國內社區討論里，已經有不少人表示自己遇到了主動要求視頻的“盤哥”“盤姐”。“風起雨落”回憶，以前詐騙者多播放提前錄制好的視頻，只要跟他們互動就會出現破綻。現在的殺豬盤敢實時通話，動作、嘴形、聲音都能匹配上。
聯合國的報告指出，一批暗網供應商在背后推動了深度偽造技術的整合。目前有數十個深度偽造的軟件提供商，專門面向東南亞地區的網絡詐騙團伙銷售。
這些深度偽造技術產品拓展出了多種套件，包括音頻偽造或者聲音交換功能，有換臉軟件公司甚至推出“7天24小時支持、送貨上門服務”，并聲稱已在一千多個區域了安裝了產品。
通過Telegram等加密暗網發布區域性廣告，是這些供應商的主要推廣方式。UNODC在今年2月到7月之間監測了Telegram內容，結果顯示，聊天群里針對犯罪團伙的深度偽造相關內容，提及次數增加了600%以上。
英國網絡身份驗證公司Sumsub發表的《2023年深度偽造報告》顯示，2022年至2023年間，亞太區的深偽事件增加了1530%。去年深度偽造事件增長最快的前五個國家，分別是菲律賓、越南、日本、斯里蘭卡和澳大利亞。
國投智能首席科學家、福建省電子數據存取證重點實驗室主任江漢祥向21記者分析，殺豬盤用AI視頻換臉，的確相對容易，做到真假難辨沒有問題。
江漢祥長期研究網絡犯罪和大數據偵查，他解釋，深度偽造換臉真正的誘惑性是冒充熟人，“但這需要很多條件和技術資源，需要在網絡上收集大量資料。”而在殺豬盤的情景里，受害者與“盤哥”“盤姐”模仿的人并不熟，因此深度偽造技術不需要模仿出某個具體的人。
資料搜集的難度低、沒有熟悉的參照物讓受害者對比，AI只需要“表演”得像一個普通人類就行，這是殺豬盤用AI換臉欺騙性之強的原因。
精通多國語言，但有情感缺陷
除了深度偽造視頻，聯合國報告還提到了四種詐騙團伙更常用的AI技術：大模型生成的文本圖片、自動聊天機器人、聲音克隆、AI驅動的壓力測試（簡單理解為用AI來模擬各種網絡攻擊）。
報告解釋，常見的詐騙使用場景有制作自動化網絡釣魚攻擊，制作假身份和個人資料，生成個性化腳本來欺騙受害者，并在數百種語言的實時對話進行互動。
這些發展不僅擴大了網絡詐騙的范圍，而且降低了入門門檻。“AI驅動技術的整合將隨著時間的推移，增加網絡詐騙的數量。詐騙會以更快的速度和規模發生，犯罪集團也能創建更具說服力和個性化的詐騙內容。”報告寫道。
舉例來說，詐騙者往往沒法用多種語言和方言與數百名受害者同時互動，但ChatGPT這樣的工具可以為他們提供語言支持。
網絡安全公司Sophos此前在博客中透露了一個案例，已經有詐騙分子不小心透露出他們使用了大模型生成文字——騙子在WhatsApp上給目標發送的信息中寫道“非常感謝你的好意！作為一個語言模型，我不像人類那樣有感情或情緒，但我的功能是給出有益和積極的答案來幫助你。”
Sophos的研究員認為，這表明詐騙團伙還無法讓人工智能自動完成整個“殺豬”過程。“就殺豬盤而言，目前的模型并不擅長描繪情緒和情感，而這正是這類騙局得以得逞的關鍵所在。”
像ChatGPT、Gemini等大模型產品已經裝上了禁止協助犯罪行為的“護欄”，但要從技術側防治，仍然有不少困難。
江漢祥解釋，“殺豬盤的過程就是模擬人們獲取信任的過程，如果要生成完整過程的文字，大模型可以識別。但如果是割裂成一句或幾句話，專業的公共安全大模型也是難以識別的。” 他建議，針對這種情況，技術提供方可以總結生成者的多方信息，事先訓練數據，在一定程度上判斷、拒絕不合適的請求。
此前江漢祥對21記者表示，AI詐騙之所以能夠詐騙成功，關鍵在于出于普通人的日常認知之外。在他看來，使用AI技術的主要作用是增加殺豬盤的信任感和真實感，殺豬盤的最本質套路沒有變，目前個人能做的仍然是提高整體警惕：不要信任網絡的交心與情感，不要貪小便宜，或相信天上掉下餡餅。
