昔日需要整支團隊協作完成的視頻制作，如今僅憑一張圖、一句話即可實現，生成式人工智能（AIGC）技術的飛速發展正深刻改變著內容創作生態。與此同時，當AI視頻生成技術以驚人的速度走向規模化應用，其濫用風險不容忽視，各種紛雜的人工智能生成信息常常讓人難辨真假，這給行業監管和平臺治理都帶來了新的挑戰。

AI視頻濫用亂象頻發

10月15日，據“北京市場監管”微信公眾號消息，2025年6月，北京市海淀區市場監管局查處了某公司利用AI技術冒用央視知名主持人名義和形象的虛假廣告案。該公司通過AI技術剪輯知名主持人視頻，加入自行設計的口播內容，在自有網絡視頻賬號上以短視頻等形式發布普通食品“深海多烯魚油”廣告，宣稱“可以解決頭暈頭痛、手麻腳麻、四肢乏力”等醫療功效，違反了《廣告法》相關規定，已被行政處罰。

值得一提的是，這是北京市場監管部門運用《廣告法》對濫用AI技術冒用知名人物形象發布虛假廣告問題的首次亮劍。

當前，生成式AI成為重要的生產力工具，監管的此次亮劍釋放了明確信號，技術應用不能逾越法律紅線。近年來，人工智能技術成熟，AI換臉門檻降低，不法商家利用AI偽造知名人士面容和聲音，炮制AI“李鬼”。

此案僅是AI技術被濫用的冰山一角。隨著AI視頻生成技術門檻大幅降低、效率飛速提升，其“雙刃劍”效應日益顯現。10月14日，已故茶界泰斗張天福被AI工具“復活”為茶企代言一事引發關注。視頻發布賬號歸屬福建張天福品牌管理有限公司，工作人員承認，視頻系AI制作。

今年4月，中國國家話劇院發表聲明，稱發現社會上有公司未經其同意擅自使用話劇《青蛇》作品，違法進行冒演、虛假宣傳，濫用AI換臉技術，偷換概念，公開售票，欺騙觀眾，造成嚴重負面影響，侵犯中國國家話劇院的合法權益。此外，某平臺一部微短劇被曝疑似使用了AI技術，未經授權將某知名演員的面部特征移植到其他演員臉上，后版權方采取了下架處理，刪除了爭議片段。

北京社會科學院副研究員王鵬對《中國消費者報》記者表示，這一現象是技術濫用與流量經濟畸形結合的產物，反映了AI技術普惠化進程中創新工具與行騙手段的邊界模糊問題，其背后是利益驅動下的倫理失范。

AIGC亟待內容治理

AI視頻生成技術的低門檻化使得仿冒成本大幅降低，不法分子可快速批量生產虛假內容，突破傳統造假的技術壁壘。此類行為不僅侵犯名人肖像權、聲音權等人格權益，更可能誤導公眾認知。

為什么AI仿冒會出現井噴？薩摩耶云科技集團AI機器人行業研究員鄭揚洋表示，現在可以靠“開源模型+云端API”實現30秒克隆聲音和人臉，生產成本比之前低。平臺容易給前3秒完播率的權重最高，若把名人帶貨等內容放在首幀，算法可能會自動放大，這讓不法分子嘗到了AI換臉的甜頭。

面對AIGC帶來的新挑戰。9月1日起，國家互聯網信息辦公室等四部門聯合發布的《人工智能生成合成內容標識辦法》（以下簡稱《辦法》）施行。這是全球范圍內第一部關于人工智能生成合成內容標識的國家標準，也意味著所有利用人工智能技術生成、合成的文本、圖片、音頻、視頻、虛擬場景等信息，必須依法添加相應的聲明標識。

根據《辦法》，人工智能生成合成內容標識包括顯式標識和隱式標識。其中，針對AI生成視頻，要求在視頻起始畫面和視頻播放周邊的適當位置添加顯著的提示標識。

記者看到，8月29日至9月1日，騰訊、快手、小紅書、嗶哩嗶哩、微博、抖音6家平臺均發布公告稱已按照相關規定提供AI內容標識聲明功能。對于未主動標識的AI生成內容，平臺有權添加標識。快手、嗶哩嗶哩、小紅書還在公告中強調用戶不得惡意篡改、隱匿平臺相關標識。

但在實際應用中，AI視頻標注仍存在諸多難點。用視頻模型工具生成的視頻，如果用戶有心將AI水印進行擦除，平臺則存在無法識別AI視頻的可能性。

一業內人士表示，盡管已有一些AI內容檢測技術，但生成模型迭代速度更快，“破綻”修補迅速，檢測技術往往處于被動追趕狀態，實現百分百精準識別異常困難。

全鏈條治理待完善

如何減少利用換臉技術侵權的行為？天元律師事務所合伙人李昀鍇表示，內容發布平臺是內容傳播和觸達公眾的關鍵環節，因此承擔著監督和管理的重要責任。平臺的責任主要體現在制定明確的平臺規則、提供技術或功能支持、履行內容審核義務、采取必要處置措施。如果內容平臺未盡到義務，監管部門可以依據《網絡安全法》《網絡信息內容生態治理規定》等，對平臺采取警告、通報批評、責令限期改正、罰款等行政措施。

而對于內容發布者這一AI標識的直接責任人，李昀鍇稱，目前《辦法》實質上沒有規定內容發布者不標注的法律責任，如果單純依靠發布者的自覺性，規定的效果或大打折扣。實踐中，內容平臺作為傳播渠道，其強制性要求和技術干預是關鍵。

“部分生成工具具備‘去標識化’功能，可自動擦除平臺水印或干擾哈希比對，導致現有監測系統出現漏檢。”鄭揚洋認為，一個解決方案是端側硬水印配合鏈上備案，而非僅靠平臺事后刪除。

鄭揚洋表示，平臺可以做降阻前置警告，比如在視頻前3秒強制彈窗“本內容含AI生成畫面”，紅色進度條1秒，降低用戶“無意識信謠”。從傳播角度看來，既然使用名人來AI生成虛假視頻，建議由主流平臺與權威媒體共建“AI辟謠”專區，一鍵跳轉可做真偽對比。

鄭揚洋對《中國消費者報》記者表示，現行規范性文件對“訓練源頭”和“刑事罰則”覆蓋仍需要加強，建議需盡快推動人工智能統一立法，把生成、傳播、平臺責任一并納入，形成全鏈條合規指引。

對此，王鵬進一步表示，目前缺乏針對AI技術的專屬立法。當前法律框架主要基于傳統肖像權、個人信息權和著作權等概念，未針對AI換臉等生成式技術的特點制定專門規范，明確其使用規范、責任劃分及處罰標準。雖然《民法典》《著作權法》《廣告法》均有作出懲罰性賠償的相關規定，但獲賠的案件不多，導致缺乏足夠的震懾力，很多侵權方的違法成本可能遠低于侵權行為可能為其帶來的商業利益。