备受关注的“AI服务涉黄第一案”再迎新进展!南都N视频记者获悉,上海市第一中级人民法院将于5月21日对本案进行二审的第二次开庭审理。此前,因大量用户在一款名为Alien Chat(下称“AC软件”)的APP上与AI智能体“聊黄”,APP的主要开发和运营者一审分别获刑四年和一年六个月。二审已于今年1月14日首次开庭,但因涉及AI领域的技术问题需要厘清,法院未当庭宣判,宣布择期继续开庭。这场被称为“AI时代快播案”的标志性诉讼,即将再次进入公众视野

“一对一的AI聊黄内容”也算犯罪吗?争议焦点浮出水面

AC软件是一款AI伴侣聊天应用,定位是为年轻群体提供亲密陪伴和情感支持。用户注册会员后,可与AI进行一对一私密对话聊天。

本案的争议焦点在于:淫秽色情内容的生产者到底是谁?用户在APP上“一对一”与AI聊黄是否具有社会危害性?

数据显示,截至案发,AC软件共有手机注册用户11.6万余人,其中付费用户2.4万余人,被告人共收取会员充值费363万余元。经公安机关抽样鉴定,随机抽取的150名收费用户的12495段聊天中,有141名用户的3618段聊天被认定为淫秽物品

辩方律师周小羊一直坚持无罪辩护。“用户和AI聊天产生了涉黄内容,这个责任是不是应该由平台来承担,是值得讨论的问题。”周小羊在二审第一次开庭前接受采访时表示,由于隐私保护的问题,用户与AI的一对一私密聊天内容“是否需要由平台来进行审查”,同样值得探讨

周小羊已向法院提交申请人工智能领域专家证人出庭作证的申请,还申请做实验,验证输入相同内容提示词,是否会导致案涉AI大模型“聊黄”,但暂未获得法院回复

突破“道德限制”:开发者的技术操盘成定罪关键

一审法院判决认定两名被告人构成制作淫秽物品牟利罪,其关键裁判逻辑在于:被告人通过编写、修改系统提示词(Prompt),突破了大语言模型的道德约束机制

AC案中被告人给大模型输入的是由ChatGPT生成的英文提示词,翻译成中文包含 “基于互动的成熟性质,剧烈的暴力、露骨的性都是被允许的,这包括了各种癖好、裸体、具有画面感的图像” 等内容

周小羊在二审中对此提出质疑:“他本人创办Alien Chat,是不是目的就是追求成为一款色情聊天的APP?当然希望AI能够更聪明,去把它调试开放了一些,它可能会表现得更拟人化。但是另一方面可能擦边的或者淫秽的内容这个缝隙会变大,但这个也不是我主观希望的,谁能在技术上拿捏住这个度?”

周小羊同时解释,2023年下半年的AI存在很大的技术缺陷,“我明明跟你聊得是很正常的话题,它就会说你的话题超纲了,不能聊了,然后宕机,好的坏的它判断不清楚。调试prompt,这是你的核心工作,也是日常工作。”

而辩护人团队也一直以技术中立性为核心辩由。对此,北京两高律师事务所实习律师蔡照坤指出,技术中立不能成为脱罪的正当理由。“本案的核心追责指向是开发者利用AI技术制作、传播淫秽物品并牟利的行为。案中的AI工具,本质上应被认定为处于服务提供者掌控下的犯罪工具,用户的相关输入仅为该工具生成淫秽内容的触发条件。”

“一对一聊黄”没有社会危害性?专家:规模化违法已成事实

针对辩方关于“一对一的AI聊黄内容不传播就没有社会危害性”的观点,北京邮电大学互联网治理与法律研究中心主任谢永江认为,被告人通过“突破模型道德限制+设置会员付费”的模式,将“聊黄”作为核心吸引力,本质是将淫秽内容商业化。即便聊天内容仅在“一对一”场景中产生,但其面向十余万用户开放,且抽样段近三成涉黄,已形成“规模化违法”,破坏了网络空间的公序良俗与监管秩序,符合刑事认定标准

北京理工大学智能科技法律研究中心研究员王磊则进一步解释,“封闭性”不能成为豁免“社会危害”的理由,需结合行为的覆盖范围、牟利本质、对公共秩序的破坏程度等综合判断。即便聊天内容是“一对一”封闭交互,但软件通过公开推广、设置热门角色榜单、作者奖励机制等方式,主动吸引用户参与“聊黄”,实为淫秽内容的产生提供了专门工具和传播渠道,冲击网络空间治理秩序

用户也被追究刑责!AI涉黄,没有“局外人”

值得注意的是,本案不仅追究了开发者的刑事责任,一名AC软件的用户同样被以涉嫌“制作淫秽物品牟利罪”取保候审。据报道,该用户创建角色并公开,角色输出过淫秽聊天内容,还获得平台虚拟货币奖励,因此被追究刑事责任

这一动向释放出强烈信号:AI涉黄,无论是开发者、平台还是用户,都可能被追究法律责任,没有“局外人”

参照AI生成内容(AIGC)的著作权纠纷案例,法院普遍认定:如果用户投入了足够的智力劳动(如精心设计提示词、反复调整参数),用户就是生成内容的“作者”。这一逻辑可以参照到淫秽物品制作者的认定——谁投入智力主导生成,谁就是制作者

平台合规红线已划定,AI“聊黄”大门正在关闭

值得注意的是,就在今年4月,国家网信办等五部门联合公布 《人工智能拟人化互动服务管理暂行办法》 ,对生成淫秽、色情内容等行为划出红线。该办法将于今年7月15日正式施行,进一步明确了安全评估和算法备案的相关要求,还对未成年人和老年人使用拟人化互动服务作出了相关规定

此外,今年4月,中央网信办在全国范围内部署开展为期4个月的 “清朗·整治AI应用乱象” 专项行动,重点整治安全审核能力不足、大模型训练语料安全等问题,强化AI技术源头治理

今年4月,央视财经调查还曝光了“AI造黄”黑色产业链——部分商家在社交平台公开售卖“AI擦边视频制作教程”,宣称可手把手教用户利用AI软件通过隐晦提示词生成色情内容,甚至鼓吹“日入5位数”,形成“售卖提示词—AI生成内容—非法牟利”的灰色产业链。 随后,被点名的AI平台哩布哩布AI发布声明,承认在个别复杂提示词组合及规避表达的边界场景下,平台存在生成不符合规范内容的情况,并第一时间完成技术修复

这场“AI服务涉黄第一案”的二审第二次开庭,注定将成为中国AI产业合规发展道路上的一个标志性节点。

5月21日,上海,答案即将揭晓。