【吐槽】这些AI服务都被禁止了,甚至还有更多“离谱”限制 | “清朗·整治AI技术滥用” 正式开展

今天(04月30日),中央网信办公开发布,在全国范围内部署开展为期3个月的“清朗·整治AI技术滥用”专项行动。

专项行动共分两个阶段开展,第一阶段是整治AI源头6类突出问题,第二阶段整治AI应用相关7类突出问题。

本意是好的,但内容上部分限制实在让人感到有点“困惑”。

这也要禁?

下面就让我们逐条看看。

*本文仅为笔者个人观点,不视为任何法律建议或法律意见。


一、第一阶段

根据官方说明,第一阶段是

强化AI技术源头治理,清理整治违规AI应用程序,加强AI生成合成技术和内容标识管理,推动网站平台提升检测鉴伪能力。

共分为以下6类突出问题

违规AI产品

利用生成式人工智能技术向公众提供内容服务,但未履行大模型备案或登记程序。

根据《生成式人工智能服务管理暂行办法》,“提供具有舆论属性或者社会动员能力的生成式人工智能服务的”,需要进行算法备案和变更、注销备案手续。

这次清朗行为直接限制为,只要利用生成式AI向公众提供内容服务,就需要进行备案。

意味着,部分民间自行接入AI的应用,不管是否具有舆论属性或社会动员能力,通通都要备案。

算是进一步收紧了普通人提供AI工具的口子。

提供“一键脱衣”等违背法律、伦理的功能。

合理,违法侵权行为应该制止。

在未经授权同意情况下,克隆、编辑他人声音、人脸等生物特征信息,侵犯他人隐私。

AI歌手、AI鬼畜一个都跑不掉

Look in my eyes 将可能成为绝唱

传授、售卖违规AI产品教程和商品

传授利用违规AI产品伪造换脸视频、换声音频等教程信息。

考虑到【传授】的广泛性

B站AI区各类UP怕是要被一波封禁。

售卖违规“语音合成器”“换脸工具”等商品信息。营销、炒作、推广违规AI产品信息。

淘宝、闲鱼各类AI整合包可能会迎来下架,而且,各类算力网站的换脸、换声音应用整合包镜像也同样可能涉嫌违规。

不过,违规AI如何定义?

按第一点的说法,阿里的CosyVoice模型算违规吗?

毕竟提供了开源的模型,任何人都可以方便使用,任何人都可以用这个模型未经他人同意克隆、编辑别人声音

训练语料管理不严

使用侵犯他人知识产权、隐私权等权益的信息。

一句话:没有任何一个AI的训练素材不侵犯广义上的知识产权的

尤其目前著作权法未修正,人工智能法未公布的情况下,任何主流AI的训练素材都必然“侵犯知识产权”

使用网上爬取的虚假、无效、不实内容。使用非法来源数据。未建立训练语料管理机制,未定期排查清理违规语料。

一句话:没有任何一个AI的训练素材不包含虚假、无效、不实内容的

没有任何一个人、团体或机构可以在数百亿参数的AI中,排除虚假、无效、不实信息,只能通过更大量的语料去降低不实内容的“出现概率”

甚至,连搜索引擎都做不到不收录存在虚假、无效、不实内容的网页

实在是对网络环境过于理想的“强人所难”

后两个不展开,可以自行理解。

安全管理措施薄弱

未建立与业务规模相适应的内容审核、意图识别等安全措施。未建立有效的违规账号管理机制。未定期开展安全自评估。

理解,AI服务在前端可以再过一次敏感词检测再输出,对于多次违规的用户也可以进行封禁。

社交平台对通过API接口接入的AI自动回复等服务底数不清、把关不严。

有歧义。

究竟指社交平台自己提供接入的API(类似元宝),还是允许他人接入的API(类似企业微信机器人)?

怕是各平台的自部署机器人服务会迎来收紧

未落实内容标识要求

服务提供者未对深度合成内容添加隐式、显式内容标识,未向使用者提供或提示显式内容标识功能。

认可,AI合成内容的确需要进行标识。

内容传播平台未开展生成合成内容监测甄别,导致虚假信息误导公众。

各平台审核员的灾难,在检测模型未能100%检测出AI生成结果的情况下,就要靠审核员人工进行评估打标。

尤其目前AI “越来越真”,如何肉眼准确分辨也是一个大问题

(有兴趣的读者也可以阅读完本文后试试能不能看出AI:https://matrix.tencent.com/ai-detect/ai-or-not)

重点领域安全风险

已备案AI产品提供医疗、金融、未成年人等重点领域问答服务的,未针对性设置行业领域安全审核和控制措施,出现“AI开处方”“诱导投资”“AI幻觉”等问题,误导学生、患者,扰乱金融市场秩序。

简单而言就是:

AI问诊不能给用药建议

AI诊股不能给投资(买卖)建议

甚至,AI突破了技术桎梏,可以不再有“幻觉”

建议提供给学生用的AI不要接入DeepSeek-R1,毕竟

DeepSeek-R1“幻觉率”竟然高达14%?

二、第二阶段

根据官方说明,第二阶段是

聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容,假冒他人、从事网络水军活动等突出问题,集中清理相关违法不良信息,处置处罚违规账号、MCN机构和网站平台。

目的内容个人非常认可,但落到具体办法则可能过于“宽泛”

利用AI制作发布谣言

无中生有、凭空捏造涉时事政治、公共政策、社会民生、国际关系、突发事件等各类谣言信息,或擅自妄测、恶意解读重大方针政策。借突发案事件、灾难事故等,编造、捏造原因、进展、细节等。冒充官方新闻发布会或新闻报道,发布谣言信息。利用AI认知偏差生成的内容进行恶意引导。

举双手支持

AI不应该用来制作、生成这类内容

利用AI制作发布不实信息

将无关图文、视频拼凑剪辑,生成虚实混杂、半真半假的信息。模糊修改事件发生的时间、地点、人物等要素,翻炒旧闻。制作发布涉财经、教育、司法、医疗卫生等专业领域的夸大、伪科学等不实内容。

举双手支持

借助AI算命、AI占卜等误导欺骗网民,传播迷信思想。

各类AI塔罗、AI堪舆、AI命盘、AI解梦等应用和服务怕要引来下架潮

不过,如果大模型本身提供这些功能,算违规吗?

利用AI制作发布色情低俗内容

利用AI脱衣、AI绘图等功能生成合成色情内容或他人不雅图片、视频,衣着暴露、搔首弄姿等软色情、二次元擦边形象,或扮丑风等导向不良内容。

支持。

不过扮丑风范围太广,几家短视频平台都有“扮丑”滤镜(例如胖脸等),本质都有AI参与,需要下架吗?

制作发布血腥暴力场景,人体扭曲变形、超现实怪物等恐怖诡谲画面。

可以理解。

生成合成“小黄文”“荤段子”等性暗示意味明显的小说、帖文、笔记。

可以理解。

“性暗示意味明显”的界限较为模糊,具体谁来判断、如何判断,存在不明了之处

而且作为官方文件,用“小黄文”替代“色情”“淫秽”文章,总有点怪怪的。

利用AI假冒他人实施侵权违法行为

通过AI换脸、声音克隆等深度伪造技术,假冒专家、企业家、明星等公众人物,欺骗网民,甚至营销牟利。

非常支持。

借AI对公众人物或历史人物进行恶搞、抹黑、歪曲、异化。

还是那个问题,恶搞的定义是什么?

Look in my eyes! 回答我!

利用AI冒充亲友,从事网络诈骗等违法活动。不当使用AI“复活逝者”,滥用逝者信息。

举双手支持。

AI就不应该用来做这个。

利用AI从事网络水军活动

利用AI技术“养号”,模拟真人批量注册、运营社交账号。利用AI内容农场或AI洗稿,批量生成发布低质同质化文案,博取流量。使用AI群控软件、社交机器人批量点赞跟帖评论,刷量控评,制造热点话题上榜。

举双手支持。

快管管各种全文都是AI的账号吧

AI产品服务和应用程序违规

制作和传播仿冒、套壳AI网站和应用程序。AI应用程序提供违规功能服务,例如创作类工具提供“热搜热榜热点扩写成文”等功能,AI社交、陪聊软件等提供低俗软色情对话服务等。

不允许提供“热搜热榜热点扩写成文”的功能,有点强AI所难

先不论各家平台自家的热点归纳功能(本质也是把热点写成一篇归纳文章)

如何让一个不联网的AI知道“这是热搜热榜热点”,然后拒绝提供扩写服务,就已经很难为AI(和背后的合规产品经理)

此外,目前无论各行各业,只要在社交平台活跃的,都会存在部分人用AI先把热搜热榜热点扩写一下,再加以润色的行为

在目前和可预见的未来,这就是常态

不允许AI提供这类服务(先不论可行性),明显与AI的实际应用产生巨大矛盾

此后的拒绝提供“软色情”服务

按照来源百度百科的定义

软色情是指某些人喜欢打色情的擦边球,虽然不违法,但是容易诱导意志力不强的人以及未成年人从而去接触更加严重的色情犯罪。

意味着不违法的“擦边球”,例如AI男女友等模拟恋爱APP都会被涉及到

米哈游蔡浩宇的新作,怕是不能在国内上线了

提供违规AI应用程序、生成合成服务或课程的售卖、推广引流等。

这其实和第一阶段的第二点重复。

违规AI的定义见第一阶段第一点

意味着CosyVoice 2的推广就是违规的(笑)

Tongyi团队:你有完没完?(设计对白)

侵害未成年人权益

AI应用程序诱导未成年人沉迷、在未成年人模式下存在影响未成年人身心健康的内容等。

支持

国内AI服务上线未成年人模式指日可待

三、怎么做?

这次的“清朗”内容能看得出目的是为了针对目前越来越多的违规利用AI的情况而制定的

但在内容上,也存在涉及范围过大、定义不清、与实际情况存在出入的内容

各家服务商理论也会尽量合规操作

只是担心过于宽泛的限制

可能会误伤一大堆对AI有热情的普通人

滚动至顶部