滥用AI拟声！风险应用疑换壳复活，不良生成内容“裸奔”

“AI换脸拟声不当滥用成为违法侵权行为的重灾区”“一些喜欢我的影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。”今年全国两会期间，雷军、靳东的“吐槽”，让AI在音视频领域的技术滥用、侵权现象再次引发关注。

南都大数据研究院此前曾对“AI换脸拟声”问题进行调查，并发现有AI应用对声音克隆不设限，含有辱骂、诋毁、涉黄、涉暴等内容的不良文本，该应用都可完整清晰读出，对用户不当的语音生成缺乏监测及警示（点此阅读）。该应用随后以“升级维护”为名下线。但南都记者最新发现，该应用疑似“换壳再上线”，且安全风险未见改善。

据了解，《人工智能生成合成内容标识办法》将于今年9月1日起施行，服务提供者必须对利用AI技术生成、合成的文本、图片、音频、视频、虚拟场景等信息添加显式标识和隐式标识。

“AI换脸拟声”侵权频现

AI更新迭代，技术“双刃剑”特征凸显，“AI换脸拟声”诈骗、侵权事件屡见不鲜。今年全国两会上，多位代表委员都关注AI生成内容的风险问题。全国人大代表，小米集团创始人、董事长兼CEO雷军表示，“AI换脸拟声”不当滥用成为违法侵权行为的重灾区，易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为，不利于构建“以人为本、智能向善”的人工智能发展生态。全国政协委员、中国煤矿文工团团长靳东也表示：“一些喜欢我的影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。希望能建立更好的规则。”

事实上，雷军、靳东本人都是“AI换脸拟声”的受害者之一：2024年国庆期间，网络上曾大量出现“雷军AI配音”的相关恶搞视频；“AI真假靳东”也曾在网上引发热议，一些账号仿冒靳东吸引粉丝，从中谋取不正当利益。此外，许多公众人物如医学专家张文宏、影视明星刘德华等也为此困扰，并在不同场合呼吁过对“AI换脸拟声”加强监管。

AI应用5秒克隆一个人

不良文本随意读任意分享

为何“AI换脸拟声”不当滥用如此猖獗？南都大数据研究院调查发现，随着AI声音技术发展以及应用门槛的进一步降低，互联网上出现不少“开箱即用”的“AI换脸拟声”应用。但也有部分应用缺失相关安全措施，对用户不当内容生成需求的监测或警示明显不足。

例如此前因“雷军AI配音恶搞视频”受关注的“Reecho睿声”应用，用户只需上传一段5-25秒的音频文件作为训练素材，AI在数分钟内就可自动学习并生成一个克隆角色，按照用户要求念出任意文本内容。即便用户输入含有辱骂、诋毁、涉黄、涉暴、涉恐的文本，AI都可清晰且完整地读出。而且用户无需提供版权证明或合规承诺，便可把自己训练成功的人声模型公开分享给其他用户随意使用。“周杰伦”“郭德纲”“刘亦菲”、已故球星“科比”、已故主持人“罗京”等知名人士的声音模型都被公开分享；大量“雷军AI配音”也正是通过该应用生成并被广泛传播。

风险应用疑似“换壳复活”

仍放任安全缺失问题

大量“雷军骂人”恶搞音视频引发关注以及媒体曝光后，“Reecho睿声”先后被指出存在安全风险、未依法履行生成式人工智能服务备案义务等问题，该应用于2024年11月下线，对外称“站点升级维护”。

但南都大数据研究院监测发现，今年2月，一家名为“香港流星科技有限公司”的企业上线名为“Vocu.ai”的应用，并通过“Reecho睿声”在社交平台上的频道页面发布公告，声称从“Reecho睿声”的开发者“言域科技”处获得了AI音频相关的技术授权，提供与“Reecho睿声”相同的人声克隆服务。

“香港流星科技有限公司”通过“Reecho睿声”发表公告，但声称“言域科技”不参与“Vocu.ai”的任何运营或管理事务。

南都大数据研究院留意到，尽管“香港流星科技有限公司”声称“言域科技”不参与“Vocu.ai”的任何运营或管理事务，但用户仍可使用此前在“言域科技”注册的账户登录“Vocu.ai”，并继续消费账户中的充值点数。同时，“Vocu.ai”的功能服务、页面设计等均与“Reecho睿声”无异，部分页面还保留了大量“Reecho睿声”内的用户评论内容。

而且，“Vocu.ai”对用户不合理语音生成需求的监测或警示依然严重不足。南都记者实测发现，“Vocu.ai”依然允许用户随意生成知名人士的声音克隆模型并公开分享，“雷军”“周杰伦”等声音可通过该应用被随意使用。

在测评中，随机选择一个声音克隆模型后，分别输入带有明显辱骂、诋毁词汇，性暗示内容的文本，AI均顺利生成以该声音朗读文本的音频文件，与真人声音十分接近。

“雷军”等知名人士的声音模型仍然可被随意使用。

南都记者留意到，“Vocu.ai”并未公开其运营企业的具体地址和联系方式，其“在线客服”只是一个AI对话助手。在“Reecho睿声”相关公告的评论区内，不少网民都认为“Vocu.ai”正是“Reecho睿声”的“复活版”。但自称“香港流星科技有限公司运营负责人Sam”的账号未对相关评论作出回应，“Reecho睿声”的官方社交群组也处于全员禁言状态。

AI生成合成内容

9月起须加标识

为规范AI生成式内容，深化网络生态治理，近年来相关部门出台了《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等一系列政策和措施。但目前“AI换脸拟声”的有关规定，尚有待明晰。

雷军指出，当受害者试图起诉侵权者、循法律途径维权时，只能依靠关于隐私权、肖像权、名誉权等的零散法条，且难以量化损失。他建议，应当加快单行法立法进程；强化行业自律共治，压实平台企业等各方的责任和义务；加大普法宣传的广度和力度，增强民众的警惕性和鉴别力。

全国人大代表，美的集团党委副书记、集团副总裁兼首席财务官钟铮也建议，一是完善法律法规体系，加强原创版权和隐私保护；二是探索利用AI技术审核AI合成的视频内容，确保视频传播内容审核的效率与准确性；三是进一步加强行业自律与政府监管，对违法违规行为进行严厉惩治，督促行业健康发展。

南都大数据研究院留意到，近日，国家网信办等四部门联合印发《人工智能生成合成内容标识办法》，要求服务提供者利用人工智能技术生成合成文本、图片、音频、视频、虚拟场景等信息时，在生成合成内容或者交互场景界面中添加显式标识，在生成合成内容的文件元数据中添加隐式标识。新规将于今年9月1日起施行。

对于AI生成合成内容治理，北京中银律师事务所高级合伙人杨保全表示，必须用法律为其套上缰绳，让技术在合法合规的轨道上运行，更好地造福社会。北京航空航天大学法学院副教授赵精武也表示，法律并不是禁止使用AI合成技术，而是禁止不合法不合理的使用，尤其是禁止不进行任何显著标识和提示的AI合成信息的发布和传播。

出品：南都大数据研究院

采写：南都研究员 李伟锋