近期，「AI詐騙正在全國爆發」的話題多次衝上微博熱搜。
就在上個月，企業老闆郭先生突然接到了好友的微信視頻，稱自己急需430萬走賬，看着視頻里的好友一臉焦慮，郭先生沒多想就把錢轉了過去，整個過程不到10分鐘，事後郭先生才發現自己被騙子用AI換臉技術給騙了。
今年2月以來，AI相關的技術日新月異，帶來的副作用也日益顯現。深度偽造（deepfake）這一AI技術，能讓視頻中的人物變臉、變聲，有人用它詐騙，有人將自家主播的臉換成明星的臉帶貨撈錢，還有人用它AI換臉「造黃謠」。
或許很多人沒有意識到問題的嚴重性，認為技術還沒有成熟到可以詐騙的地步，存有「僥倖」心理。5月31日，深燃直播間邀請到了瑞萊智慧聯合創始人、算法科學家蕭子豪，李旭反傳防騙團隊負責人李旭，就「怎樣識別AI詐騙」這一主題展開對話。
兩位嘉賓一位懂技術，一位懂反傳，兩種完全不同的視角，卻有共同的「反詐科普」目標，對於AI詐騙主要有哪些手段、哪些人更容易被AI詐騙盯上、普通人應該如何預防AI詐騙等與生活息息相關的話題，都給出了非常實用的建議。
任何一項技術都是一把雙刃劍，既能推動社會進步，又能挖掘人性中隱藏的惡，任何技術都應該要在可控、可監督的範圍內發展。如今，AI大潮已經將我們裹挾其中，要想更好的應對，首先應該了解和學習它，繼而依靠全社會的力量與它的暗面進行抗衡。
以下是直播實錄，由深燃編輯整理：
01.AI詐騙，為什麼屢禁不絕？
深燃：利用AI技術進行詐騙是今年才有的套路嗎？
李旭：早在2019年，打着AI算命、AI看相旗號的微信公眾號、小程序或APP就火爆一時，實質上是通過誘導分享發展用戶來吸金。
這兩年，我們看到一些微商團隊發佈明星的祝福/宣傳視頻來發展下線，其中不少視頻並非明星真實錄製，而是運用了AI換臉、AI語音合成等技術製作而成，不少人信以為真而選擇加入，結果陷入騙局。還有一些人利用AI生成圖片/視頻進行裸聊詐騙，要求受害者下載APP進而將其手機通訊錄拷貝過來，後續以此為要挾進行敲詐，很多人中招。
深燃：AI詐騙有哪些常用手段？
李旭：第一種是AI聲音合成，騙子給受害人打騷擾電話，提取受害人的聲音，後期對聲音素材進行合成，用於詐騙。比如某公司財務的小王曾接到領導電話，要求其立即給供應商轉賬2萬元，理由是避免繳納滯納金，由於領導的聲音十分逼真，小王在一個小時內就轉款完成，後來才發現被騙。
第二種是AI換臉，騙子首先會根據受害人發佈在社交平台上的照片或視頻信息生成假臉，然後在視頻通話中利用AI換臉騙取受害人信任，被騙430萬的郭先生就是這樣上當的。
第三種是AI篩選受害人，騙子根據所要實施的騙術，通過AI技術篩選目標人群，在短時間內生產出定製化的詐騙腳本，實施精準詐騙。比如情感詐騙的騙子會篩選經常發佈感情類信息的人群，金融詐騙的騙子會篩選經常搜索投資理財信息的人群。
李旭反傳防騙團隊負責人李旭
深燃：2018年，一段奧巴馬罵特朗普的視頻在全美瘋傳，後來被證明這個奧巴馬是用深度偽造技術製作出來的，5年後，用於AI詐騙的技術是否已經升級？
蕭子豪： AI詐騙背後的技術5年來不斷疊代，相比2018年有了非常明顯的提升。
一個對比的維度是逼真度更高，現在的AI詐騙不僅能夠生成比較逼真的人像，甚至可以生成比較真實的場景，比如前段時間網上瘋傳的特朗普被捕的畫面，其實都是用AI生成的，因為太過逼真，大眾肉眼無法識別，會產生誤導。
另外一個對比的維度是成本更低。早年間，不法分子想獲得受害人的聲紋信息來偽造音頻，需要好幾分鐘的聲紋素材，需要通過灰產獲取信息，但是最新的技術只需要幾秒鐘的聲紋素材就可以合成，騙子團伙就可以通過打騷擾電話的方式，即使說兩句就掛斷也能成功竊取相關信息。
深燃：AI換臉、AI變聲技術需要素材做訓練，那這些素材是哪來的？
蕭子豪：這些素材通常有好幾種獲取渠道，一種是受害者自己主動公開的，比如在朋友圈或其他社交媒體上發佈照片、視頻等信息。另外騙子會主動去搜集相關信息，比如打騷擾電話、獲取證件信息（學生證、身份證、駕照）等。
深燃：AI詐騙的成本高嗎，是不是比大眾想像的要低？
蕭子豪：成本分為三大類，第一類成本是獲取私隱數據的成本，第二類成本是AI建模並訓練，生成假的語音、假的臉及假的視頻的成本，第三類成本是與受害人取得聯繫的成本，包括竊取熟人的微信、電話號碼等。其中第三種方式相對比較傳統，AI技術的發展則是降低了前兩者的成本。
生成假視頻方面，目前有很多開源算法，尤其是騙子打視頻電話的時候不需要太清晰的像素和太明亮的光線，「幾張圖片素材+開源的AI算法」就已經能做出一個「能看」的AI詐騙的視頻，門檻相對較低。
02.AI詐騙成功率極高，普通人該如何「反殺」？
深燃：之前有報道稱，AI詐騙的成功率幾乎是100%，為什麼這麼高？
李旭：首先，騙子本來就很會拿捏受害者的心理，主要分幾類：一個是虛榮心比較強，比如愛在朋友圈或短視頻平台曬生活日常，甚至炫富，這就給一些騙子搜集個人信息和精準詐騙帶來可乘之機；一個是很多人對熟人比較信賴，加上愛面子、不好意思拒絕，更不好意思去多方核實，落入騙子的陷阱；還有一些人愛貪便宜、愛獵奇獵艷，容易陷入裸聊殺豬盤等詐騙圈套中。
其次，這類騙局善於利用受害者的熟人關係，不法分子會提前研究受害者的人脈關係和好友信息，尤其愛利用領導、親戚及其他不好拒絕的關係，制定專門的騙局劇本後，再通過AI技術的手段騙取受害者的信任，讓人放下最後一道防線，乖乖的把錢轉過去，真的是防不勝防。
深燃：哪些人更容易成為AI詐騙的受害者，這些受害者有什麼樣的共性和特點？
李旭：永遠不要覺得自己不會被騙，只是適合你的劇本還沒有出現。
當一個人獨自面對詐騙團伙的精密佈局和技術攻擊時，一切聰明才智都顯得非常無力，中老年人更容易成為被騙對象。一方面他們對互聯網詐騙手段並不熟悉，有認知盲區，另一方面騙子喜歡利用他們對子女的擔憂製造一些假象，比如要生活費、要醫療費等，詐騙的成功率相當高。
還有一些平時不注意培養防騙意識的人，也容易上當受騙。我們團隊發現，只有已經被騙過的人，才會關心防騙的知識。當你還沒有被騙的時候，就會以為這些東西離自己很遙遠，殊不知，下一個騙局可能就會盯上你。
深燃：之前有民警教過兩個識別AI換臉的技巧，可以要求對方將一根手指或其他物品放在臉前來回移動，或要求對方將臉轉左或轉右，觀察其側臉是否有扭曲變形的現象。普通人還能如何用肉眼識別AI詐騙呢？
蕭子豪：就目前的AI偽造水平來講，他們仍然沒辦法在有遮擋及人臉偏轉的情況下，生成無瑕疵的視頻效果。我覺得讓對方張嘴也是一個比較有效的方式，比如看對方的牙齒結構是否清晰、舌頭形狀是否完整，很多不法分子可能只考慮對正臉做個建模，但沒有建模嘴巴、牙齒跟舌頭。但還是需要自己有反詐騙意識，才會要求對方去做這些動作。
瑞萊智慧聯合創始人、算法科學家蕭子豪
李旭：詐騙一般都有劇本，我們就要「反劇本」而行，問對方一些私密性的問題，跳出騙子的劇本。另外，現在AI製作的視頻還存在不完善的地方，比如瞳孔呆滯無神，手背、手指跟身體的比例不協調等，可以檢查圖像的質量是否存在模糊失真或噪點高等現象。
深燃：在AI詐騙面前，普通人需要做好哪些防備？
李旭：涉及錢款時，可以通過電話加視頻等多種方式去確認對方是否為本人，在匯款前一定要確認對方提供的賬戶在本人名下，如果要求把錢轉到陌生賬戶，就要小心，而且要避免通過微信等社交軟件轉賬。我們還要保護好個人信息，不要輕易的去接陌生人的電話、點擊短訊連結、下載來歷不明的APP，此外還要拒絕誘惑，警惕陌生人的「無事獻殷勤」。
蕭子豪：我們需要謹慎使用所有會讓你自拍、錄音的軟件，也需要謹慎使用所有能訪問你的攝像頭、麥克風，甚至是相冊的軟件。
深燃：子女應該如何給爸媽有效打預防針？
李旭：第一，我們要提醒家中的老人，在涉及轉賬匯款時要做好多重驗證，不要輕信對方所說的緊急情況或優惠條件，做到不聽不信不匯款，三思而後行。第二，多給老年人普及反詐知識，加強對詐騙伎倆的識別能力。第三，我們可以幫助他們下載國家反詐中心APP，對於一些玩不轉智能機的老人，建議他們不要在微信支付寶內綁定銀行卡，只存少量的零錢，儘量不要開通網上支付業務。
蕭子豪：下載國家反詐中心APP是挺管用的，相當於國家幫忙減少詐騙風險，可能會比兒女的勸說更有用。在這個基礎上，子女一定要多陪伴、多關注老年人的身心健康，多跟父母保持溝通，讓他們在有需要的時候願意來找你。他們也有自己獲取信息的圈子，在溝通的過程中，可以多給他們轉發他們信任的媒體發佈的反詐信息，會讓他們更快的消化這些信息。
03.AI是把雙刃劍，要與AI正確相處
深燃：除了詐騙以外，AI技術還被用來干哪些違法勾當？
李旭：此前有騙子將自己的臉AI換成某明星，開直播引導粉絲刷禮物，或者將自家主播AI換臉成楊冪、迪麗熱巴進行帶貨，這樣做會有侵犯肖像權的風險。
不過，這種案件的維權一般都比較困難。因為使用AI換臉技術進行直播的人並不會直接提到相關明星藝人的名字，後續可能就採取關閉直播、刪除連結等措施，導致無法固定證據，網絡信息的匿名化發佈也難以鎖定發佈源頭。
還有一種情況是，有人利用AI換臉「造他人黃謠」，遇到這種情況，我們要保持冷靜，儘可能搜集相關證據，儘快向公安機關報案。
深燃：騙子的技術越來越高明，但魔高一尺道高一丈，現在哪些技術可以用來反詐？
蕭子豪：有幾種大家公認比較有效的技術，可以減少詐騙帶來的風險，雖然它不一定100%能夠消除每個個體被詐騙的概率。
其中第一種是利用detection技術去檢測這些圖像視頻究竟是真實拍攝還是AI生成。第二種手段是加水印，每個軟件在生成虛假AI圖片/視頻的時候，都會被打上和這個軟件直接掛鈎的水印，這能夠幫助我們後續去追溯AI詐騙視頻生成的源頭，當公安去取證時，只要他拿到這個視頻，就可以從中提取出水印，並獲得犯罪團伙相關的信息，間接減少大家被騙的風險。
深燃：科學家們在研究AI技術時會預設它被濫用的場景，並開發反濫用的功能嗎？
蕭子豪：在整個AI技術往前推進浪潮裏面有兩大角色，一種是研究者的角色，另外是應用者的角色。一般來說，前者的技術有突破之後，後面偏應用的角色才會跟上。非常典型的例子就是OpenAI先做出ChatGPT，ChatGPT接着被應用到各行各業。
OpenAI的CEO也坦言，現在ChatGPT帶來的影響已經遠遠超出他的想像。這不難理解，研究者不一定有足夠的精力和時間去將所有可能出現的負面影響都思考清楚，很多事情都可能在大家做好準備之前就已經開始發酵。要預防技術的濫用，需要國家的監管部門、社會各界力量一起努力，通過向善的價值觀進行技術防禦，這會是一個治理跟發展同時前進的狀態。
來源/視覺中國
深燃：政策層面，是否已經開始對濫用AI的行為進行立法了？
李旭：為了規範人工智能的發展，2022年11月25日，國家互聯網信息辦公室、工業和信息化部、公安部聯合發佈《互聯網信息服務深度合成管理規定》，自2023年1月10日起施行。規定要求提供智能對話、合成人聲、人臉生成、沉浸式擬真場景等生成或者顯著改變信息內容功能的服務的，應當進行顯著標識，避免公眾混淆或者誤認。要求任何組織和個人不得採用技術手段刪除、篡改、隱匿相關標識。
今年4月11日，國家網信辦起草了《生成式人工智能服務管理辦法》（徵求意見稿），提出AI內容必須真實準確，其中也明確提到，禁止非法獲取、披露、利用個人信息和私隱、商業秘密。所以說，國家的立法應該會越來越完善，一些短視頻和直播平台也應負起社會責任。
深燃：這些AI擬聲工具、AI視頻工具、AI換臉工具，有沒有哪些正向的落地場景？
蕭子豪：有不少落地場景。一種是短視頻平台上的人臉特效，用到換臉或減齡之類的算法，增加用戶的使用體驗；一種是語音助手、地圖導航；一種是對影視劇中不方便出現的演員人臉進行替換，降低前期投資帶來的損失。當然也有人自願給自己生成虛擬形象，比如一些講師或者客服，降低錄製視頻的成本，提高跟客戶交互的效率。
深燃：AI技術的進步，對反詐行業會帶來哪些影響？
李旭： AI技術在反詐領域的運用日益深入，我們在製作反詐短視頻時，就可以啟動虛擬主播，或通過AI語音生成器對文字和語音進行互轉，減少工作量，現在也有很多反詐平台嘗試利用技術手段識別AI生成的圖片和視頻，更高效的識破騙局。
04.網友互動
問：聲音詐騙怎麼識別？
蕭子豪：你可以讓對方一邊說話一邊打響指，或者一邊說話一邊拍手掌，這些AI模型可能之前沒考慮過這種情況，就會出現一定的瑕疵。這個方法跟前面提到的用手指遮擋臉部的原理很接近。
問：為了跳出騙子們的劇本，具體可以問騙子什麼問題？能不能舉幾個例子？
李旭：多問一些最近你們線下見面發生過的事情，比如可以問「我們上一次見面是什麼時候」，你在社交網絡上沒有提供過這些信息的話，對方就不知道該如何接招了。另外，還可以編造謊言或用假信息詢問對方，看對方如何應對，或許能讓對方無法招架。
問：在文字、語音、圖像、視頻接連失信的今天，AI技術如果繼續不受控制地發展下去，會不會導致現有社會關係中的信任崩塌？
蕭子豪：大眾共識是「眼見為實，耳聽為虛」，而恰好這種AI偽造技術顛覆了這一常規認知，也在不斷挑戰我們的社會秩序。但至於說會不會信任崩塌，我還沒有那麼悲觀，我相信後面能夠找到一個途徑去讓整個社會秩序在一個新的治理體系下運作，讓AI技術在提升生產力的同時將風險控制在安全範圍內，這可能需要大家一起努力。