編者按：2025年初，生成式人工智能模型DeepSeek的發(fā)布引爆輿論場。這一年，AI技術(shù)經(jīng)歷了突飛猛進的發(fā)展，為社會帶來極大便利的同時，也大大推高了技術(shù)濫用的風(fēng)險，由此衍生出一系列網(wǎng)絡(luò)亂象。法治網(wǎng)輿情中心盤點2025年以來近120起AI技術(shù)濫用事件，總結(jié)表現(xiàn)突出的八大亂象，并就監(jiān)管和執(zhí)法部門如何增強網(wǎng)絡(luò)空間治理效能提出應(yīng)對建議。

輿情綜述

1. AI謠言日漸凸顯

AI技術(shù)的普及帶來最顯著的濫用風(fēng)險就在于AI謠言多發(fā)。對話大模型的迅猛發(fā)展令批量生產(chǎn)謠言的門檻進一步降低，而且比起傳統(tǒng)謠言，AI編造的謠言細節(jié)逼真、情節(jié)豐富，更具迷惑性。梳理發(fā)現(xiàn)，今年的AI謠言集中在以下四個領(lǐng)域：一是編造涉警情險情災(zāi)情等謠言，如貴陽文昌閣有人“挖眼虐貓”事件引起廣泛傳播，警方調(diào)查發(fā)現(xiàn)系網(wǎng)民用AI軟件編造的謠言。二是蹭炒社會熱點炮制謠言，有網(wǎng)民在“全黨開展深入貫徹中央八項規(guī)定精神學(xué)習(xí)教育”之際，利用AI炮制“江蘇兩干部買方便面被通報”謠言，被采取刑事強制措施。三是編造涉及他人名譽等侵權(quán)謠言，如“華山醫(yī)院前院長客死他鄉(xiāng)”“有頂流明星在澳門輸了10億”等涉及名人明星的謠言信息被大量傳播，相關(guān)話題登上熱搜榜。四是AI“黑嘴”抹黑營商環(huán)境。在上海警方偵破的一起利用人工智能技術(shù)編造、傳播網(wǎng)絡(luò)謠言損害企業(yè)權(quán)益案中，造謠者使用AI技術(shù)以“無中生有”“移花接木”“斷章取義”的手法拼湊，再冠以“博眼球”的標題，使得涉及企業(yè)的不實內(nèi)容被快速推送到用戶眼前，造成企業(yè)聲譽受損。

2. AI“起號”現(xiàn)象增多

根據(jù)主流媒體說法，AI“起號”就是指自媒體通過AI技術(shù)批量生產(chǎn)內(nèi)容，借此快速積累粉絲、提升賬號商業(yè)價值，進而形成可交易或變現(xiàn)的網(wǎng)絡(luò)資產(chǎn)。在當前的短視頻平臺上，AI生成的內(nèi)容正在迅速占領(lǐng)網(wǎng)絡(luò)空間，諸如“外國人熟練演唱中文歌曲”“銀發(fā)奶奶傳授養(yǎng)生秘訣”“氛圍感女孩分享穿搭美學(xué)”等AI視頻獲得較高的關(guān)注度，令輿論信以為真。分析人士指出，利用AI技術(shù)“起號”成本低、漲粉快，還能精準地吸引特定群體，通過電商帶貨、賬號轉(zhuǎn)賣等方式變現(xiàn)，形成“起號、轉(zhuǎn)型、轉(zhuǎn)賣”的灰色產(chǎn)業(yè)鏈。目前AI造假“起號”主要在情感、養(yǎng)生、顏值等領(lǐng)域，甚至還有不少相關(guān)的付費教程，以“3天暴力起號”“條條是爆款”等措辭為噱頭，吸引用戶。業(yè)內(nèi)專家還強調(diào)，一些利用AI“起號”的從業(yè)人員，會在互聯(lián)網(wǎng)傳授繞過平臺管理的經(jīng)驗，如果放任大量此類賬號進入賬號交易市場，可能會導(dǎo)致網(wǎng)絡(luò)空間持續(xù)遭到污染。

3. AI“換臉”侵權(quán)案例頻發(fā)  

今年以來，AI深度合成名人明星“換臉”擬聲的視頻層出不窮。企業(yè)家雷軍、醫(yī)學(xué)專家張文宏、育兒專家李玫瑾、影視明星靳東、央視主持人李梓萌等公眾人物均遭受“換臉”擬聲的侵害。全國兩會期間，多名人大代表和政協(xié)委員關(guān)注AI“換臉”擬聲亂象，呼吁盡快立法、重點整治，相關(guān)討論引發(fā)輿論熱議。11月5日，央視新聞法治在線報道了演員溫崢嶸遭AI盜播事件，多個直播間出現(xiàn)她的帶貨形象，溫崢嶸曾在直播間質(zhì)問卻遭對方拉黑，再次掀起相關(guān)話題討論?！栋朐抡劇酚浾哒{(diào)查發(fā)現(xiàn)，不法商家利用公眾人物為自家“貼金”，有的利用AI仿冒奧運冠軍全紅嬋、孫穎莎、王楚欽聲音帶貨；有的讓公眾人物宣傳預(yù)約購物可享受低價但實際并無折扣，宣傳出售高價商品實際只提供低價商品；還有的聲稱有了公眾人物“加持”，商品宣傳片“播放量10億+”。

4. AI“魔改”“惡搞”問題滋生

在“流量大棒”的指揮下，部分網(wǎng)絡(luò)用戶為了出奇出新，利用AI技術(shù)對影視作品進行大幅或顛覆性改編的行為，常見于短視頻、視覺創(chuàng)作等領(lǐng)域?！斗ㄖ稳請蟆氛{(diào)查發(fā)現(xiàn)，“外國山海經(jīng)”“AI山海經(jīng)”等“魔改”內(nèi)容在網(wǎng)絡(luò)上迅速走紅，這些包含木棍人、仙人掌身軀大象、輪胎青蛙等違背常理的奇怪形象，由AI拼接生成，與中國古代典籍《山海經(jīng)》無關(guān)，已經(jīng)滲透到低齡群體中，甚至包含血腥暴力、惡搞低俗內(nèi)容的“邪典動畫”。相關(guān)內(nèi)容引發(fā)輿論擔(dān)憂。與此同時，“流浪漢闖入家門”的AI圖片在社交媒體上走紅，這種利用AI制作虛假內(nèi)容進行戲弄或測試的“惡搞”行為引起模仿效應(yīng)，引發(fā)居民恐慌甚至警方出警。媒體批評“AI可以用于娛樂，但娛樂不應(yīng)破壞親人之間最基本的信任，更不應(yīng)損害公共利益”。

5. AI虛假營銷頻頻誤導(dǎo)消費者

AI技術(shù)作為強大的輔助工具，已經(jīng)在社會各個行業(yè)得到廣泛應(yīng)用，但是在消費行業(yè)，由AI技術(shù)生成的營銷內(nèi)容卻充斥著造假、低劣內(nèi)容，遭到輿論譴責(zé)和抵制。例如良品鋪子的“花生上樹”AI廣告引發(fā)廣泛爭議，還有商家利用AI技術(shù)生成“傳承千年苗方苗古金貼傳承人”等虛假人物形象，外賣平臺上也存在大量使用AI技術(shù)營造“網(wǎng)紅門面”場景的檔口。除此之外，一些商家還利用少數(shù)網(wǎng)民“投機”“走捷徑”等心理進行誘導(dǎo)消費。根據(jù)央廣網(wǎng)“中國之聲”、新華社“新華視點”等媒體報道，部分商家和自媒體博主號稱可以用AI預(yù)測彩票走向，甚至還推出收費預(yù)測彩票中獎號碼的服務(wù)；在今年高考前夕，也有機構(gòu)打出AI大模型“押題”的旗號進行營銷，誘導(dǎo)消費者付費購買所謂“內(nèi)部資料”。中國福彩、媒體等多家機構(gòu)發(fā)布辟謠和解讀文章，提醒消費者防范營銷陷阱。

6. AI“薅羊毛”退貨現(xiàn)象泛濫

近年來，針對電商平臺的“薅羊毛”行為備受關(guān)注。今年“雙十一”購物節(jié)過后，網(wǎng)上曝出多起AI造假騙退貨款的案例，例如廣州一買家AI合成“死蟹”視頻騙取商家退款，被警方處以行政拘留8日處罰。梳理媒體公開報道發(fā)現(xiàn)，這類借助AI圖像處理技術(shù)生成難以用肉眼識別的虛假圖片或視頻，向電商商家發(fā)起“僅退款”要求，已經(jīng)遍布服裝、美妝、植物、生鮮等各大類目。不法分子利用電商消費小額高頻的特點規(guī)避法律風(fēng)險，令中小商家苦不堪言，陷入“維權(quán)成本高于損失”的兩難。還有媒體報道指出，更令人擔(dān)憂的是，這一行為已形成灰色產(chǎn)業(yè)鏈，網(wǎng)上有所謂付費教程宣稱“288元教會單賬號成功退款30次”，還以學(xué)員累計獲利2000元為噱頭吸引參與者。對此輿論呼吁稱，看似是小額利益的投機，實則正在層層侵蝕電商生態(tài)的信任基石，亟需多方協(xié)同發(fā)力進行整治。

7. 新型AI詐騙犯罪多發(fā)

電信網(wǎng)絡(luò)詐騙案件在嚴打嚴防形勢下依然多發(fā)，并且在AI技術(shù)加持下手段不斷翻新、隱蔽性日益增強，成為危害人民群眾財產(chǎn)與生命安全的“新毒瘤”。當前新型AI詐騙案件層出不窮，除了典型的“AI換臉”“AI擬聲”詐騙之外，還有很多變種，例如“AI換裝”詐騙，有不法分子利用“AI換裝”功能，偽造軍警身份招搖撞騙；“AI客服”詐騙，不法分子利用AI技術(shù)，制作智能客服系統(tǒng)，通過語音或文字同受害人交流，誘騙受害人提供個人信息或進行轉(zhuǎn)賬操作；“AI情感”詐騙，不法分子運用AI訓(xùn)練面向網(wǎng)聊的大語言模型，通過偽造場景、聲音與受害人建立情感關(guān)系，進而獲取個人信息，實現(xiàn)精準詐騙。對于AI詐騙多發(fā)態(tài)勢，輿論普遍擔(dān)憂AI算法被不法分子利用，淪為詐騙工具。

8. AI數(shù)據(jù)污染風(fēng)險上揚

當前，人工智能大模型訓(xùn)練需要海量數(shù)據(jù)，這些數(shù)據(jù)一般來自開源網(wǎng)絡(luò)，因此虛假和錯誤的數(shù)據(jù)就會進入訓(xùn)練語料庫中，造成數(shù)據(jù)污染現(xiàn)象，導(dǎo)致更多錯誤信息被生成，甚至還有不法分子進行惡意的“數(shù)據(jù)投毒”。《新華每日電訊》文章援引一項研究顯示，當訓(xùn)練的數(shù)據(jù)集里僅有0.01%的虛假文本時，模型輸出的有害內(nèi)容會增加11.2%；即使是0.001%的虛假文本，其有害輸出也會相應(yīng)上升7.2%。今年5月，《中國青年報》報道了“AI把野史當信史”現(xiàn)象，文中提到AI生成的“明朝使臣質(zhì)問帖木兒”，通過嫁接真實人物、虛構(gòu)對話及偽造文獻注釋，形成具備學(xué)術(shù)表征的偽史文本。這一典型案例揭示了AI時代數(shù)據(jù)污染的閉環(huán)路徑：虛假信息經(jīng)過編造、傳播進入AI模型語料庫，再輸出成為“答案”被引用。經(jīng)過這樣一圈閉環(huán)后，普通公眾很難識別哪些信息為真、哪些信息為假，久而久之將會產(chǎn)生更為深遠持久的認知偏見。

應(yīng)對建議

AI技術(shù)濫用為何屢禁不止？專業(yè)人士分析認為，平臺流量與帶貨轉(zhuǎn)化的強激勵，使得一些商家和個人利用AI技術(shù)實現(xiàn)“劣幣逐利”，并迅速復(fù)制擴散；網(wǎng)絡(luò)環(huán)境的匿名性、隱蔽性，使得AI濫用行為的取證難、追責(zé)成本高；公眾辨別深度偽造的媒介素養(yǎng)不足，平臺的內(nèi)容溯源機制不完善等，同樣助長了AI生成內(nèi)容應(yīng)用亂象。對此必須多措并舉、標本兼治，構(gòu)建全鏈條治理體系。法治網(wǎng)輿情中心綜合專家學(xué)者、行業(yè)人士等方面的意見，總結(jié)出以下三方面建議。

1. 完善法律法規(guī)體系 規(guī)范平臺責(zé)任和用戶義務(wù)

部分專家指出，隨著AI技術(shù)的快速發(fā)展，相關(guān)的監(jiān)管措施、法律法規(guī)也要及時更新，繼續(xù)細化平臺、技術(shù)提供商、內(nèi)容制作者及用戶的法律責(zé)任。2025年9月1日起施行的《人工智能生成合成內(nèi)容標識辦法》要求AI合成內(nèi)容必須明確標注，但從大量案例來看，仍有不少用戶發(fā)布AI合成信息時并未明確標注，容易讓人產(chǎn)生混淆。對此，監(jiān)管部門需進一步規(guī)范AI技術(shù)應(yīng)用標準，督促平臺加大對AI生成內(nèi)容的審核把關(guān)責(zé)任，引導(dǎo)用戶主動添加相關(guān)標識，并且利用技術(shù)手段建立智能審核系統(tǒng)，對上傳的AI合成內(nèi)容進行實時監(jiān)測，及時發(fā)現(xiàn)和攔截侵權(quán)、虛假、違法等不良內(nèi)容。各大平臺也需進一步改革涉及AI內(nèi)容的流量分發(fā)和收益分成機制，最大限度壓縮用戶通過AI技術(shù)濫用牟利的空間。

2. 加大執(zhí)法司法力度 全鏈條打擊違法犯罪行為

部分專業(yè)人士建議，執(zhí)法司法機關(guān)需要建立“鏈條化”思維，對AI違法犯罪鏈條的前端發(fā)布主體、中端技術(shù)手段和末端的后果危害，分別進行評價和判斷，進行全鏈條打擊和預(yù)防。執(zhí)法部門需持續(xù)部署開展“清朗”系列專項行動，從嚴整治AI技術(shù)濫用等網(wǎng)絡(luò)違法亂象，依法處置違規(guī)平臺、企業(yè)和賬號。對待花樣翻新、不斷迭代的AI造謠、“換臉”詐騙、虛假宣傳、“薅羊毛”等違法犯罪套路，要深挖背后利益鏈條，進行源頭打擊、治理，及時向社會公布，對不法分子形成震懾。針對生成和傳播虛假信息的高風(fēng)險領(lǐng)域，司法機關(guān)也可以通過司法解釋等形式明確各方義務(wù)邊界，進一步制定科學(xué)合理的AI侵權(quán)責(zé)任認定指導(dǎo)標準。

3. 強化法治宣傳教育 增強公眾參與積極性

AI技術(shù)濫用問題與個體心理、網(wǎng)絡(luò)生態(tài)等多方因素有關(guān)，相關(guān)治理工作是一個系統(tǒng)工程，在法律和技術(shù)手段之外，還需要長期治理和全社會參與。澎湃新聞等媒體建議，執(zhí)法司法部門深入開展法治宣傳教育，通過以案釋法等形式，進一步增強網(wǎng)民的法治意識和媒介素養(yǎng)，不斷規(guī)范使用AI技術(shù)、識別AI謠言詐騙等能力；同時完善網(wǎng)絡(luò)不良信息舉報機制，鼓勵廣大用戶積極參與監(jiān)督，對用戶舉報的問題及時進行核實和處理。此外，企業(yè)作為AI技術(shù)濫用的主要受害者，也需增強維權(quán)意識，及時向平臺投訴舉報，并與屬地公安機關(guān)溝通、報案，防止涉企AI謠言持續(xù)擴散發(fā)酵。