飛象網訊（易歡）“我經常刷到非常知名的院士專家推薦某美白產品，自己也有這方面的困擾，因為是權威專家本人親推的就抱著試試的心態買了！”“看到自己非常喜歡的名人說用某某保健品親測有效，總忍不住想要下單�！痹谌斯ぶ悄芸焖贊B透的當下，短視頻平臺利用AI技術把名人明星換臉擬聲植入廣告，帶來受益的情景已然泛濫。這種通過科技在自媒體領域制造的營銷亂象真假難辨，不僅存在嚴重的侵權行為，也嚴重損害了消費者的合法權益。
相關數據顯示，僅 2024 年通過 AI 換臉實施的詐騙案件涉案金額就達 17.3 億元，而如今，在科技的加持下，消費者面臨著AI換臉＋換聲的雙重威脅，高度真實感讓消費者們很難辨別信息真偽。當科技為人類生活提供極大便利的同時，如何合法合規的使用AI帶來正向價值，避免技術黑箱成為新型犯罪的溫床，保障用戶權益成為社會發展必須要考慮的關鍵問題。
“AI換臉擬聲”亂象頻出
毫無疑問，人工智能的快速發展，推動了AI換臉擬聲在影視、廣告、社交等領域的廣泛興起，成為極具傳播力、易成熱點的技術應用。但同時也看到，AI換臉擬聲的不當濫用成了違法侵權行為的重災區，易引發侵犯肖像權、侵犯公民個人信息以及詐騙等犯罪行為，甚至造成難以挽回的大規模形象和聲譽損害，損害消費者權益的同時帶來社會治理等風險。
在今年兩會期間，“AI換臉”“AI擬聲”也成為熱議話題。其中，不少兩會代表們也深受其害，比如，全國人大代表、小米集團CEO雷軍在去年國慶期間，被人用AI捏造聲音亂說一氣，并以“雷軍語音包”的形式在網上流傳；全國政協委員、上海華山醫院醫生張文宏被AI換臉“帶貨”等，在所謂“操盤手”的套路之下，應用AI技術擴散的虛假宣傳正在成為收割消費者的一種利器。
值得注意的是，目前，對于AI換臉的“反偵察”技術檢測尚無法做到百分百準確，但AI深度合成技術所需素材卻具備獲取便利、技術使用門檻低的特性，面對AI換臉擬聲亂象，現有的法律法規尚不能完全滿足治理需求，亟須通過立法手段厘清邊界。
在兩會期間，小米集團CEO雷軍針對“AI換臉擬聲”等某一代表性問題，建議探索推出人工智能單行法，提高立法位階及其效力，分級分類的基礎上進行務實治理，明確“AI換臉擬聲”應用邊界紅線，完善侵權證據規則，加大對利用人工智能技術實施犯罪行為的刑事處罰力度。
雷軍還建議強化行業自律共治，壓實平臺等各方的責任。支持平臺企業開發可精準識別人工智能深度合成內容的技術能力，優化升級通信軟件和內容平臺巡查審核機制、投訴舉報機制、應急處理機制，確保及時阻斷問題內容傳播。
不僅如此，他還強調要加強人工智能方面的法制宣傳教育，增強民眾的警惕性和鑒別力，聚焦重點人群，在中小學人工智能教材中加入倫理規范內容，深入老年人聚居的社區開展相關知識普及活動，在全社會夯實“以人為本、智能向善”的人工智能發展生態。
人工智能健康有序發展可期
實際上，早在2022年11月，國家互聯網信息辦公室、工業和信息化部、公安部聯合發布了《互聯網信息服務深度合成管理規定》，為深度合成服務劃定了“底線”和“紅線”，維護網絡空間良好生態。不過在實際操作中，仍存在一些模糊地帶。例如，對于個人使用“AI換臉擬聲”技術的界限、平臺審核責任的具體劃分，以及侵權賠償標準的確定等方面，還需進一步細化和明確。
為了更好的應對在AI技術加持下的虛假信息泛濫、網絡信息治理等棘手問題，近日，國家互聯網信息辦公室、工業和信息化部、公安部、國家廣播電視總局聯合發布《人工智能生成合成內容標識辦法》（以下簡稱《標識辦法》），自2025年9月1日起施行。
《標識辦法》提出，服務提供者應當按照《互聯網信息服務深度合成管理規定》第十六條的規定，在生成合成內容的文件元數據中添加隱式標識，隱式標識包含生成合成內容屬性信息、服務提供者名稱或者編碼、內容編號等制作要素信息。鼓勵服務提供者在生成合成內容中添加數字水印等形式的隱式標識。
《標識辦法》要求，互聯網應用程序分發平臺在應用程序上架或者上線審核時，應當要求互聯網應用程序服務提供者說明是否提供人工智能生成合成服務�；ヂ摼W應用程序服務提供者提供人工智能生成合成服務的，互聯網應用程序分發平臺應當核驗其生成合成內容標識相關材料。
國家互聯網信息辦公室有關負責人表示，《標識辦法》聚焦人工智能“生成合成內容標識”關鍵點，通過標識提醒用戶辨別虛假信息，明確相關服務主體的標識責任義務，規范內容制作、傳播各環節標識行為，以合理成本提高安全性，促進人工智能在文本對話、內容制作、輔助設計等各應用場景加快落地，同時減輕人工智能生成合成技術濫用危害，防范利用人工智能技術制作傳播虛假信息等風險行為，推動人工智能健康有序發展。
在AI技術一路狂飆之下，換臉擬聲正在不斷模糊真實與虛構的邊界，作為企業而言必須真正把科技向善的基因融入到算法中，才能更好的守護用戶的消費安全。與此同時，國家層面、相關企業、網絡平臺等也需要形成合力，促使AI換臉擬聲技術在合法、合規的軌道上健康發展。
