北京漢王科技的工程師正在研發可以識別戴着口罩的人的人臉識別技術。（2020年3月6日）
中國互聯網信息辦公室近日發佈《互聯網信息服務深度合成管理規定》徵求意見稿，要求深度合成服務提供者以及應用商店今後要擔起責任，確保使用者提供真實身份信息並且不違法。業內分析人士指出，這是為政府進一步監管互聯網尤其避免領導人遭惡搞而提供法理依據，但是實施起來恐非易事。
中國政府欲出台新規監管深度合成技術
2022年1月28日，中國國家互聯網信息辦公室在其網站發佈關於《互聯網信息服務深度合成管理規定（徵求意見稿）》公開徵求意見的通知，意見反饋截止日期為2月28日。
「深度合成技術」可能對大部分中國人還是個相對陌生的概念。徵求意見稿用三百多字對此技術做了比較籠統的解釋：「本規定所稱深度合成技術，是指利用以深度學習、虛擬現實為代表的生成合成類算法製作文本、圖像、音頻、視頻、虛擬場景等信息的技術。」
文字讀來依然晦澀，但是2019年在中國網絡世界流傳的幾個視頻足以提供解釋。在視頻里，94年版《射鵰英雄傳》裏扮演黃蓉的香港演員朱茵，面部被人替換成了中國女星楊冪。神奇的是，這並非面部的靜態照片替換，而是動態視頻的替換。在新的視頻里，楊冪有各種面部動作：微笑、皺眉、說話、嘟嘴，各種表情都完全達到了以假亂真的地步，讓人難以察覺這並非她本人出演，而完全是一項利用技術人工生成的作品。
視頻一出，網友立刻驚呆，微博話題閱讀量瞬間飆升到1億。嗶哩嗶哩站網友在楊冪換朱茵的視頻下留言一千多條，發出各種感慨：「迄今為止看到的最沒有違和感的AI換臉」；「以後這黑科技更完善之後，都不用本人演了......可以隨便換了，哈哈。而且誰都可以用劉亦菲，范冰冰他們的臉，想想都可怕，會不會以後連真臉都可以秒換了」；「最惡毒的，用她們的臉拍黃片，解釋都解釋不清」。
接下來在全世界流行一時的一款名為「Avatarify」的變臉APP，則讓普通人感受到了變臉帶來的樂趣。手機用戶只要在蘋果應用商店下載安裝，然後上傳照片，就可以從APP提供的一些著名歌手唱歌的短視頻上，把歌手換成自己。置換後的短視頻里，自己的眼神和表情惟妙惟肖，再配上歌手的美妙音樂，讓很多普通用戶樂在其中，紛紛拿親朋好友的照片取樂逗趣，Avatarify也成為下載量非常高的一款應用，並且吸引大量付費用戶。
最初的AI換臉發源於海外社區Reddit，一位用戶發佈了一系列明星換臉小視頻，吸引了大量用戶關注，後被舉報封號。作者後來在軟件開發者雲集的github公佈了技術代碼，之後來自全世界的軟件開發者對換臉技術進行了優化，直到今天變得越來越成熟和易於使用。
如今，中國互聯網信息辦公室即將出台的這項管理規定，正是準備約束此類技術開發者和使用者的行為。規定的第六條闡明：「任何組織和個人不得利用深度合成服務從事危害國家安全、破壞社會穩定、擾亂社會秩序、侵犯他人合法權益等法律法規禁止的活動，不得製作、複製、發佈、傳播含有煽動顛覆國家政權、危害國家安全和社會穩定、淫穢色情、虛假信息，以及侵害他人名譽權、肖像權、私隱權、知識產權和其他合法權益等法律法規禁止內容的信息。」
旅居英國的前某跨國互聯網公司技術顧問王先生告訴美國之音，換臉技術門檻很低，人人都可以用。
他說：「這裏面其實有兩個問題。第一個跟人的肖像權有關，比如有公眾形象的明星。這種情況其實中國和美國都不太管，但是經常會把這當一個藉口來說事兒。在中國，更敏感的是涉政問題。其實惡搞明星是沒有人管的，但是這個東西大家一旦玩到習近平頭上之後就變得特別敏感。以前江澤民胡錦濤也被人惡搞，無所謂。習這個人不太能容忍別人惡搞他，性格不一樣吧。他沒有文化，可能不理解這種幽默，這其實拉低了領導和普通群眾的距離。（可是）他需要的是把天子和百姓的距離拉遠。」
美國和歐洲的前車之鑑
使用AI技術「偷梁換柱」的事件曾在美國掀起數次波瀾。最著名的一次發生在2019年5月，當時眾議院議長南希·佩洛西的一則講話視頻被人技術處理後，音頻和面部表情遭到改變，原本正常的講話變得語速遲緩甚至看來有點醉酒般神志不清。這個被修改的視頻在Facebook發佈後引來數百萬點擊，很多人誤以為真。當時川普的私人律師、原紐約市長朱利安尼也在推特嘲笑了佩洛西的古怪形態。事後，這個虛假視頻被一些網站撤下，但是已經得到廣泛傳播。
在此之前，網絡世界也發生過類似的事情：有人利用一款名為FakeApp的軟件，把前第一夫人米歇爾·奧巴馬的臉合成到艷星身上。2018年初這款軟件在Reddit被發佈後，得到12萬下載。Reddit後來關閉了一些關於此軟件的興趣討論組，引發不少開發者和愛好者的不滿，認為這是過分的一刀切政策。
紐約州州立大學布法羅分校計算機系教授呂思偉告訴美國之音，其實南希·佩洛西的這個事情還不算深度合成，只能算是個比較簡單的淺度作假，很容易實現。
紐約州立大學布法羅分校計算機工程系教授呂思偉（照片由本人提供）
呂思偉說：「深度合成技術對我們生活的影響還沒有很深遠。但是媒體的渲染讓這個情況聽起來更嚴重，因為這樣才會讓大家警覺。當然這個是有意義的，美國的一些大眾媒體對這個事情有一定的先見之明。技術的發展日新月異，還不到5年，生成的質量和效率已經在幾十倍的提高。但是從另外一個角度來講也確實有點過度強調會造成的危害。」
呂思偉說，現實生活中他所見到的利用深度合成技術確實造成危害的情況，是他曾經幫助一家律師事務所代理的關於「revenge pornography」的案例，也就是罪犯利用變臉技術，把受害人的臉置換到色情影片的女主角身上，造成受害人出演色情片的假象，從而給受害人的名譽和心理造成傷害。
2021年2月，《麻省理工科技評論》雜誌報道了在英國發生的一起案件：2019年，英國女詩人海倫·摩特，發現自己的照片被人嫁接之後偽造成色情女星放在網上。這些照片都是從摩特的社交網站所盜取的生活照片，她也不知道何人所為，最後不了了之。總部位於荷蘭的致力於追蹤深度合成犯罪的Sensity AI發表報告說，自2018年12月以來，他們所追蹤到的案例中，90%-95%都是針對女性受害者的偽造色情內容。
呂思偉對美國之音說，他目前還沒有看到因為深度合成偽造而影響了選舉或者股市這種級別的重大案例。「但是我覺得最可怕的方向實際上有兩個」。
他分析說：「第一個就是混淆視聽。因為我們知道內容可以被修改之後，我們對所有的網絡上的內容都會產生懷疑。所以我們很難區分什麼是真什麼是假，對一切產生懷疑。而且甚至會有所謂的『栽贓撒謊者』，也就是，只要我不喜歡的東西，我都可以說它是假的。哪怕它是真的，我也可以說它是偽造的合成的。」
中國一刀切式的未雨綢繆
中國網信辦的管理規定，給技術提供者賦加了一些強制性的責任。比如，深度合成服務提供者應當對使用者進行真實身份信息認證，並且要建立健全闢謠機制。對於互聯網應用服務商店，要提供安全評估和備案，若遇到違反規定的應當不予上架、暫停上架或者下架產品。
美聯社記者傑斯丹農2017年10月30日在紐約用蘋果手機演示如何利用蘋果手機上的臉部識別應用程式Face ID進行變臉。
曾是產品工程師的王先生解釋說，中國的互聯網監管，需要有一個明文規定來保護監管的合法性。拿蘋果公司的應用商店來說，政府和蘋果打交道的時候，需要這些法律法規。
他告訴美國之音：「中國政府跟蘋果的交流是很密切的。十年前差不多是每一兩個月，給一個（要求下架的）清單。現在可能隨時會拉清單過來。蘋果的財報是公開的，比方有一年公佈說，這一年蘋果下架了差不多一百多款應用，是因為政府的特殊要求而下架，其中八十個來自中國政府。這種信息他需要給國際上一個交代。一旦有人要一個個去挑刺的話，他需要去拿出這些規定，保證他的訴求是合理的，一定要有個說法。」
呂思偉認為，政府在立法方面確實有一定責任，做一些預防措施也有積極意義，但是究竟管到哪一步，就變成一個非常棘手的問題。他說：「比方偽造色情內容，這其實是一種犯罪行為。這對受害者造成很深的傷害，所以從內容上我們要制定一些法規。這其實就是美國立法方面的努力。不過我所了解到的基本是對內容上做限制，而不是在方法上做限制。」
同時，他也認為中國政府現的做法過於嚴苛，過分強調這個技術負面的一面，而技術本身是無害的。「就像核技術，既可以拿來發電也可以拿來造原子彈。更何況深度合成其實也可以用來造福人類。比方說加拿大有個公司在做這種Deepfake的合成語音，用於那些因為腦血栓或者冠心病說話有障礙的病人，把他們的聲音通過算法變得更清晰，這樣他們的家人朋友可以了解他們想說什麼。」
呂思偉總結說：「如果我們直接從根部把技術禁絕掉，就好像把洗澡水和嬰兒一起扔出去了。另外，這個政策也很難實施。技術一旦被發展出來，你再想把它控制住，弄回去，就不太可能。就像潘多拉盒子，打開了就不會再關上。所以這個法律實施起來其實也很困難。」