近期，全国两会期间，小米集团创始人雷军公开表达了对AI换脸技术的担忧。他透露，自己的形象被频繁用于制作各类视频，这些视频通过AI技术模拟他的声音和面部表情，成为网络上的“嘴替”和“脸替”。雷军表示，尽管他有意通过法律手段维权，但当前缺乏专门立法，只能依靠隐私权、肖像权和名誉权等相关法律，而这些都需要量化损失，让他深感困扰。
社交平台上，AI生成的真人形象已屡见不鲜，其逼真程度足以以假乱真。雷军并非唯一的受害者，中老年人群体更是成为了这些AI视频的易感人群。他们往往缺乏识别AI创作的能力，对这些“AI真人”的话语深信不疑。
例如，一位化名陆俊的年轻人提到，他的奶奶自从春节开始每天都观看一个胖小孩的短视频，尽管视频中的小孩形象明显经过AI处理，但奶奶却毫不在意，只觉得这些视频能让她开心。这种“AI宝宝”现象，实际上瞄准了中老年群体被忽视的情感需求，一些网友甚至将AI宝宝视为怀孕许愿池。
更令人担忧的是，一些AI账号利用中老年人的信任进行带货或诈骗。例如，一个名为“·古元·”的视频号，通过AI生成的真人形象，以温柔的“弟弟”口吻向高龄女性推销产品，其橱窗商品的销量已突破三位数。
不仅中老年人，年轻人同样面临着AI造假的威胁。有报道指出，诈骗犯利用Deepfake深度伪造技术，制作出公司高层发言视频，诱导职员转账。还有用AI换脸真人制作色情影片、盗刷医保等违法案例。
针对AI技术的滥用，全国政协委员和科技公司高管纷纷提出治理建议。全国政协委员齐向东提议，要从技术保障、制度保障、成果应用三方面入手，系统提升安全能力。360集团创始人周鸿祎则认为，传统网络安全的解题方法解决不了人工智能的安全问题，应由既懂安全又懂AI的企业牵头，打造安全大模型来解决大模型的应用安全问题。
各社交平台也在加强对AI内容的治理。抖音、视频号、小红书等平台都推出了针对AI治理的管理政策。同时，一些互联网公司正在研究检测AIGC的第三方工具，以支持文本、图片等AI生成内容的检测。然而，随着生成内容越来越逼真，检测工具的模型学习难度也在增加。
为了应对AI技术的挑战，国家互联网信息办公室发布了《人工智能生成合成内容标识办法（征求意见稿）》，以规范人工智能生成合成内容标识，维护国家安全和社会公共利益。随着多项规定和监管政策的相继落地，未来社交平台上的内容生态或将发生显著变化。
