參觀者在北京觀看中國2018安博會期間展出的監管交通的人工智能人臉識別系統。（2018年10月23日）
對人工智能的使用進行監管是世界範圍的政策難題，中國在這一領域出台法規的速度和數量世界一流。然而，使用AI深度偽造技術「換臉」、「換聲」的詐騙在中國層出不窮。分析認為，在深偽媒體劇增的挑戰面前，中國法規的監管重點仍在政治維穩，無力解決欺詐等民生安全問題。
不再是尖端技術 AI深偽全球普及
通過人工智能深度偽造（deepfake）技術進行詐騙的新聞最近在中國層出不窮。據中國媒體報道，今年4月，福州一家科技公司的老闆成為AI「換臉」騙局的受害者，險些被騙430萬元人民幣。
這起AI騙局可能是中國近期與深度偽造應用相關的詐騙數額最大的一起。行騙者顯然盜用了受害者好友的微信帳號，再通過AI深偽技術以好友的形象和聲音與其視頻通話，通過身份驗證後，誘導其進行銀行轉賬。報道說，福州和包頭兩地的警方和銀行，攔截了336.84萬元，仍有被轉移的93.16萬元還在追繳中。
人工智能技術快速發展下，短短几年，深偽「換臉」應用已經從一個前沿技術演化到一個大眾娛樂工具。2019年，一段有關美國前總統「奧巴馬」講話的偽造視頻曾經一度引發熱議，甚至引起美國國家安全部門的警覺。不到兩年，換臉軟件就成為普通網民可以隨意下載和使用的消遣程序。在中國，「Zao」、「Avatarify」等AI換臉軟件相繼火爆全網，有的甚至衝上應用程式商店的下載冠軍。但程序發行商不久都被當局約談、程序下架，原因可能與私隱和肖像權有關。
總部設在德國柏林、從事反詐騙和身份驗證安全業務的網絡技術公司SumSub人工智能和機器學習事務主管帕維爾·哥爾德曼-卡拉丁(Pavel Goldman-Kalaydin)說，想錄製一段視頻，讓另一個人的聲音和形象說出自己想要說的話，現在只要一台個人電腦或一部智能手機就能辦到，利用網上可以獲取的「虛擬攝像頭」，不需要任何複雜的硬件。
他對美國之音說：「問題就是，這項技術變得越來越普及。很多人都可以使用。很多人都在自己的筆記本電腦上操作。」
他說：「他們可以製造許多深度偽造內容，試圖繞過我們希望執行的（認證）檢查。」
換聲換臉無縫對接中國AI騙術一流
深度偽造詐騙正在世界各地發生，但專家表示，中國的深偽視頻詐騙似乎技高一籌。
根據SumSub公司五月發佈的統計，2023年第一季度與去年同期相比，深度偽造詐騙佔全部詐騙數量的比例在美國從0.2%上升到2.6%，在加拿大從0.1%上升到4.6%。在英國、德國、意大利等歐洲國家，「深偽」詐騙在全部詐騙所佔比例都超過了5%。
美國亞利桑那州州檢察長克里斯·梅斯(Kris Mayes)星期一（6月5日）發表警示聲明，提醒公眾小心行騙者使用AI生成的語音克隆來欺騙用戶。聲明說，騙子通過語音克隆，讓受害者認為親人遇到困難，以此騙取錢財。
亞利桑那州立大學計算機學院教授蘇巴勞·卡姆巴哈帕蒂(Subbarao Kambhampati)說，與美國克隆語音的電話詐騙增多相比，中國的騙子顯然已經從語音克隆轉向視頻通話，這令他感到驚訝。
卡姆巴哈帕蒂對美國之音說：「單獨用音頻，你會更容易被騙，但是音頻加視頻意味更難被騙。但顯然（中國）能夠做到。」
他說：「一般來說，處理好視頻要困難得多，我們看（AI視頻中的）人臉時，會下意識地通過他們的面部表情，認識到他們的行為與我們通常看到的不完全一樣。
這種融合視覺、聽覺、觸覺等多感官、模擬出計算機虛構場景的模型構造，是當下人工智能發展的一個重要發展領域，被稱為「多模態」(multimodality) AI。專家說，AI詐騙的形態未來將更加以假亂真。
「我們不指望這個問題會消失。我要告訴人們的是，最重要的解決方法是通過教育，讓人們認識到，可以相信自己的耳朵和眼睛的日子已經結束了。」卡姆巴哈帕蒂教授說。
中國法規難以應對AI時代騙局
中國互聯網協會5月發表警示，稱越來越多的AI換臉、換聲詐騙和誹謗已經屢見不鮮，呼籲公眾提高警惕。
中國被認為是在規範AI立法和建立行政規定方面走在各國前沿的國家。但分析認為，由於AI工具的普及、深度偽造內容的泛濫，政府「嚴打」難以應對新媒體的海量暴增；另外，中國AI法規的執行把主要精力放在對AI內容的政治審查，以維穩優先，對一般犯罪的處理被放在次要位置。
中國政府已經開始忙於應對深偽詐騙和「謠言」給當局「維穩」工作帶來的挑戰。華爾街日報6月4日報道說，最近幾周，中國各地政府紛紛開始打擊人工智能聊天機械人產生的虛假信息，許多虛假信息通過編造類似以往引發輿論熱議的社會安全事件賺取點擊。
為了監管「深度合成」內容，中國今年1月10日開始實施的管理措施要求服務提供商對那些「可能導致公眾混淆或者誤認的」AI生成內容進行「顯著標識」，以便用戶可以識別哪些圖像和影音是機器「創造」的產物、哪些是真人的創作。
中國這種要求科技平台給深偽內容「加水印」的做法在國際間備受討論，一些政策研究人士認為是可以推廣的路線。
卡內基國際和平基金會亞洲項目研究員麥特·希恩(Matt Sheehan)指出，針對欺詐的深偽監督法規把責任推給了開發和運用這些技術的公司。希恩通過電子郵件對美國之音說：「如果執行得當，這些規定可能會使犯罪分子更難獲得這些人工智能工具……可能會給此類欺詐設置一些障礙。」
但他同時指出，這取決於政府如何實施規定，以及不法人員是否可以從中國以外獲得AI工具。
「很多東西都是開源的，全球各地都有，很多人都在研究。」SumSub公司的人工智能事務主管哥爾德曼—卡拉丁說：「技術使用一直是一個問題。你可以監管使用，但監管不了技術。」
戰略與國際研究中心(CSIS)戰略科技項目主任詹姆斯·劉易斯對美國之音說：「比較難應對的是新產品的數量和複雜程度，我知道中國政府非常擔心欺詐，並在尋找控制的方法。」
中國政府審查AI詐騙討論
不過，批評人士認為，在AI深度偽造給政治維穩帶來的挑戰面前，打擊欺詐並不是中國政府監管AI的優先事務。
中國新實施的對「深度合成」的管理規定，首先指出的就是禁止「危害國家安全和利益、損害國家形象」的相關活動。
與此同時，「AI詐騙正在全國爆發」的話題標籤曾在五月在微博上了熱搜，但不久後，在微博上對這個話題表現的搜索結果顯示，「根據相關法律和法規和政策，搜索結果未予顯示」。這表明，這一話題已被中共當局審查。
新美國安全中心(Center for a New American Security)技術與國家安全副研究員比爾·德雷克塞爾(Bill Drexel)說，當局不讓公眾討論AI詐騙，說明中國的AI監管和執法動機是扭曲的。
德雷克塞爾對美國之音說：「與詐騙相比，他們應對政治威脅的動力更強。他們總體可能會在這個方向上分配更多的資源。所以我們也可以從這件事中看到，一旦中國公眾擔心有太多的人工智能欺詐行為，他們就開始進行審查。」
他說：「這一事實表明，他們最終關心的是在政治上掩護自己，而不是解決欺詐問題。」
