破解AI换脸拟声侵权难题，法规落地成关键，从两会“吐槽”看AI换脸拟声的滥用与监管困境

本文聚焦AI换脸拟声技术在当下的滥用、侵权现象，通过全国两会期间雷军、靳东等代表委员的“吐槽”引出话题，深入分析了相关应用存在的安全风险，如缺乏内容监测、随意克隆声音等，还提及应用“换壳再上线”的情况，最后探讨了目前法规尚待明晰的现状及各方建议。

在今年全国两会的讨论声浪中，雷军、靳东对于AI在音视频领域的吐槽格外引人关注。雷军直言“AI换脸拟声”不当滥用已然成为违法侵权行为的重灾区；靳东则痛心表示，一些喜爱他影视剧的观众，被AI换脸视频骗得很惨，性质十分恶劣。这一番“吐槽”，让AI换脸拟声技术的滥用与侵权现象再次被推到公众视野的聚光灯下。

此前，南都大数据研究院就对“AI换脸拟声”问题展开了深入调查。调查中发现，有一款AI应用在声音克隆方面毫无限制。哪怕用户输入含有辱骂、诋毁、涉黄、涉暴等不良内容的文本，该应用都能完整清晰地读出，而且对用户不当的语音生成缺乏必要的监测与警示。之后，该应用以“升级维护”为由匆匆下线。然而，南都记者最新追踪发现，这款应用疑似“换壳再上线”，安全风险不仅没有改善，反而依旧如旧。

值得一提的是，《人工智能生成合成内容标识办法》已确定将于今年9月1日起正式施行。届时，服务提供者必须对利用AI技术生成、合成的文本、图片、音频、视频、虚拟场景等信息添加显式标识和隐式标识，以此规范AI生成内容的使用。

困扰：明星成“重灾区”，公众深受其害

随着AI技术的不断更新迭代，其“双刃剑”的特征愈发凸显。“AI换脸拟声”诈骗、侵权事件屡见不鲜，成为社会的一大困扰。今年全国两会上，多位代表委员敏锐地关注到了AI生成内容的风险问题。

全国人大代表、小米集团创始人雷军明确指出，“AI换脸拟声”的不当滥用，极易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为，严重破坏了“以人为本、智能向善”的人工智能发展生态。全国政协委员靳东也表达了同样的担忧，他提到一些观众被AI换脸视频欺骗，这种现象性质恶劣，急需建立更好的规则加以约束。

事实上，雷军和靳东本人就是“AI换脸拟声”的直接受害者。2024年国庆期间，网络上大量出现“雷军AI配音”的恶搞视频；“AI真假靳东”事件也曾在网上闹得沸沸扬扬，一些账号仿冒靳东吸引粉丝，谋取不正当利益。此外，像医学专家张文宏、影视明星刘德华等众多公众人物也深受其扰，他们在不同场合多次呼吁加强对“AI换脸拟声”的监管。

滥用：应用门槛低，版权监管缺失

为何“AI换脸拟声”的不当滥用如此猖獗？南都大数据研究院的调查揭开了其中的部分原因。随着AI声音技术的飞速发展和应用门槛的进一步降低，互联网上涌现出了不少“开箱即用”的“AI换脸拟声”应用。然而，部分应用却缺失必要的安全措施，对用户不当内容生成需求的监测和警示明显不足。

以“Reecho睿声”应用为例，该应用曾因“雷军AI配音恶搞视频”受到广泛关注。用户只需上传一段5 - 25秒的音频文件作为训练素材，AI在短短数分钟内就能自动学习并生成一个克隆角色，按照用户的要求念出任意文本内容。即便用户输入含有辱骂、诋毁、涉黄、涉暴、涉恐的文本，AI也能清晰完整地读出。而且，用户无需提供版权证明或合规承诺，就可以将自己训练成功的人声模型公开分享给其他用户随意使用。“周杰伦”“郭德纲”“刘亦菲”等知名人士，甚至已故球星“科比”、已故主持人“罗京”的声音模型都被公开分享，大量“雷军AI配音”视频正是通过该应用生成并广泛传播。

监测：风险应用“换壳”，安全问题依旧

大量“雷军骂人”恶搞音视频引发广泛关注和媒体曝光后，“Reecho睿声”被指出存在安全风险、未依法履行生成式人工智能服务备案义务等问题。2024年11月，该应用以“站点升级维护”为由下线。

但南都大数据研究院的监测却发现，今年2月，一家名为“香港流星科技有限公司”的企业上线了名为“Vocu.ai”的应用。该企业通过“Reecho睿声”在社交平台上的频道页面发布公告，声称从“Reecho睿声”的开发者“言域科技”处获得了AI音频相关的技术授权，提供与“Reecho睿声”相同的人声克隆服务。

南都大数据研究院进一步留意到，尽管“香港流星科技有限公司”声称“言域科技”不参与“Vocu.ai”的任何运营或管理事务，但用户仍可使用此前在“言域科技”注册的账户登录“Vocu.ai”，并继续消费账户中的充值点数。同时，“Vocu.ai”的功能服务、页面设计等与“Reecho睿声”几乎无异，部分页面还保留了大量“Reecho睿声”内的用户评论内容。

更为严重的是，“Vocu.ai”对用户不合理语音生成需求的监测或警示依然严重不足。南都记者实测发现，“Vocu.ai”依然允许用户随意生成知名人士的声音克隆模型并公开分享，“雷军”“周杰伦”等声音可通过该应用被随意使用。在测评中，随机选择一个声音克隆模型后，分别输入带有明显辱骂、诋毁词汇，性暗示内容的文本，AI均顺利生成以该声音朗读文本的音频文件，与真人声音十分接近。

此外，“Vocu.ai”并未公开其运营企业的具体地址和联系方式，其“在线客服”只是一个AI对话助手。在“Reecho睿声”相关公告的评论区内，不少网民都认为“Vocu.ai”正是“Reecho睿声”的“复活版”。但自称“香港流星科技有限公司运营负责人Sam”的账号未对相关评论作出回应，“Reecho睿声”的官方社交群组也处于全员禁言状态。

法规：治理尚待明晰，多方呼吁完善

为了规范AI生成式内容，深化网络生态治理，近年来相关部门出台了《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等一系列政策和措施。然而，目前“AI换脸拟声”的有关规定仍有待进一步明晰。

雷军指出，当受害者试图起诉侵权者、通过法律途径维权时，只能依靠关于隐私权、肖像权、名誉权等的零散法条，而且难以量化损失。他建议加快单行法立法进程，强化行业自律共治，压实平台企业等各方的责任和义务，加大普法宣传的广度和力度，增强民众的警惕性和鉴别力。

全国人大代表钟铮也提出了三点建议：一是完善法律法规体系，加强原创版权和隐私保护；二是探索利用AI技术审核AI合成的视频内容，确保视频传播内容审核的效率与准确性；三是进一步加强行业自律与政府监管，对违法违规行为进行严厉惩治，督促行业健康发展。

南都大数据研究院留意到，近日，国家网信办等四部门联合印发《人工智能生成合成内容标识办法》，要求服务提供者利用人工智能技术生成合成文本、图片、音频、视频、虚拟场景等信息时，在生成合成内容或者交互场景界面中添加显式标识，在生成合成内容的文件元数据中添加隐式标识。新规将于今年9月1日起施行。

对于AI生成合成内容治理，北京中银律师事务所高级合伙人杨保全表示，必须用法律为其套上缰绳，让技术在合法合规的轨道上运行，更好地造福社会。北京航空航天大学法学院副教授赵精武也表示，法律并不是禁止使用AI合成技术，而是禁止不合法不合理地使用，尤其是禁止不进行任何显著标识和提示的AI合成信息的发布和传播。

本文围绕AI换脸拟声技术展开，详细阐述了该技术滥用导致的侵权问题，包括明星受害、应用安全风险以及法规监管不足等方面。通过对相关应用的调查和代表委员的建议分析，强调了完善法规、加强监管以及增强民众意识的重要性。随着《人工智能生成合成内容标识办法》的即将施行，有望为AI换脸拟声技术的规范使用提供一定的保障，但仍需各方共同努力，推动行业健康发展。