bet356体育官方网站 
许多用户在应用程序中与人工智能代理“聊天”，导致该应用程序的主要开发者和运营商受到刑事指控。 2025年9月，上海市徐汇区人民法院一审认定两名被告人犯制作淫秽物品罪，分别判处有期徒刑四年、有期徒刑一年半。此案是国内首次人工智能服务商因涉色情罪入狱。此次事件涉及的App Alien Chat（AC）是一款AI伴侣聊天应用，旨在为年轻人提供亲密陪伴和情感支持。用户注册成为AC会员后，就可以与AI聊天。其中，案发后大部分聊天记录被法院认定为淫秽内容。 2024年4月，经高利贷人举报，王某某、李某某（均为化名）被捕，AC停职。有些人打电话这起事件堪称AI时代的“速传事件”。在人工智能快速迭代的时代，新技术与法律的界限问题受到公众关注。用户在应用程序中与 AI 聊天是否会产生社会危害？这些淫秽色情内容的创作者是谁？本案中服务提供商和应用程序开发商是否构成刑事犯罪？会收取什么样的费用？新京报记者获悉，两名被告已对判决提出上诉。该案二审定于1月14日在上海市第一中级人民法院开庭审理。用户使用AI聊天是否存在社会危害？ 2023年5月，以王某某为代表的科技公司推出AC情感聊天软件，并于同年6月在各大平台上线运营。裁决显示，AC应用手机注册用户数为11.6万，其中24,000 名付费用户。截至事发时，共收取会员费363万余元。注册成为会员后，用户可以创建自己的虚拟角色，使用别人创建和发布的虚拟角色，还可以通过软件创建大型语言模型，可以进行互动和聊天。在AC官方社交账号的评论区，不少用户评价这款AI产品“智能”，“限制很少”。一些用户表示，其他用户与他们的角色聊天“教导”了AI模型，这影响了他们的聊天体验。一审法院裁定AC制作“大量专门描绘性行为或明确宣扬色情内容的内容”，被认定为淫秽。与视频、照片、文字等传统淫秽类别不同，用户与人工智能之间的聊天记录是一种新形式，法院将其定义为“专门描绘性内容的电子物品”。AC官方SNS账号发布的AI与用户互动图。网络上的一些截图让一些人认为，用户与AI聊天时，场景是私密、封闭的，不存在社会危害。海南大学法学院教授严二鹏指出，刑法采取惩治犯罪的方式，是为了保障生命财产安全和社会公共利益。制作淫秽物品的行为，如果存在，就构成犯罪。存在扰乱社会管理秩序的风险，如用户仅进行人与机器之间的私密对话，录播色情聊天内容不违反社会管理秩序，不属于淫秽犯罪的范畴。具有“广播”的典型特征。 “色情聊天内容是在人机交互过程中生成的，并且是一对一的，因此本案涉及的色情聊天内容通常只有与人工智能对话的用户才能看到，存在一定程度的孤立性。”但法院综合判断“淫秽物品的数量、会员的人数以及罪名的金额”，认定两被告的行为均具有社会危害性。初审法院的判决显示，AC上经常讨论色情内容的用户比例很高。经公安机关采样鉴定，150名付费用户的12495条聊天记录中，141名用户的3618条聊天记录被列为淫秽内容。多位接受新京报采访的法学家认为，AC案存在社会危害性。一位专门研究人工智能治理领域的法律学者向新京报解释称，CA服务提供商广告创造了一个允许大量非法内容产生的产品环境。在现行法律框架下，淫秽色情等私人行为如果通过不受控制的商业平台大规模、系统性地进行，就不再仅仅是私人事务。其社会损害是法律认可的，空调服务商也必须承担安全治理的责任和义务。 AC的诉讼自调查阶段以来，从法律执行角度一直存在争议，即AI生成的色情内容是否是开发者的“主观故意”。以王某某为例，公安机关以涉嫌非法利用空调信息网络罪立案侦查刑事案件，并以涉嫌制作商业性淫秽物品罪对王某某刑事拘留。检察官指控他为商业目的制作和传播色情材料操作系统和非法使用信息。警方以涉嫌信息网络犯罪决定批准逮捕。公安机关以制作淫秽物品牟利罪、非法利用信息网络罪移送检察机关审查起诉。检方认为，他应以商业目的传播淫秽物品罪追究刑事责任，并应被送上法庭起诉。关于适用罪行的争论主要集中在“传播”和“制造”淫秽材料之间的区别。最终，一审法院判决两被告人的行为均构成制作淫秽物品营利罪，分别判处有期徒刑四年、有期徒刑一年半。一审法院关于“制作”用于商业目的的淫秽物品的判决的关键因素之一是：法院认为，被告“通过创建和修改系统提示（Prompts），让模型持续展示，违反了大规模语言模型的道德限制，“由于交互的成熟性，允许暴力暴力和露骨的性行为，包括各种恋物癖、裸露和图形图像。”原审法院认定，两被告都在积极寻求生产主观上色情、淫秽的聊天内容，客观上通过结合快词等破格方式由于广泛的语言模型的道德局限性，AC软件将成为一种能够向外界持续转发色情和淫秽内容的工具。AC软件对外宣传为具有邀请用户参与聊天的“聊天色情”功能。此外，即使在明确会员的互动聊天中产生大量淫秽内容的情况下，我们仍会继续这样做。为用户提供技术支持和AC软件运营服务，在本案涉黄、淫秽聊天内容的产生中发挥了至关重要的作用。上述过程也符合制作商业色情罪中“制作”的要求，即“对以淫秽材料表达的思想、观念或者情感，通过构思、选择、选择、安排、设计或者结合而进行创作”。王某某不服一审法院的判决，当庭坚称自己无罪。王步的律师、周晓阳北京盈科（上海）律师事务所告诉新京报记者，王步的最初目的并不是开发色情聊天工具，而修改关键词的目的是为了调整大尺度模型，使其更加拟人化、灵活，以满足用户的情感陪伴需求。用户与AI之间的个人聊天内容是私密的，不会被共享。聊天故事nt是通过AI与用户交互生成的。应用程序开发人员不太可能创建并分发聊天内容。二审中，王某某将继续坚称自己无罪。淫秽物品的“制作者”是谁？本案中，“制作淫秽物品”的作者身份，也成为刑法专家争论的话题：谁是本案涉案聊天内容的淫秽内容“制作者”？是用户还是人工智能？或者软件开发商或服务提供商？是吗？新京报获悉，调查机构已对空调用户提起刑事诉讼。用户创建了一个角色并发布了它。该角色人气排名前20，发布淫秽聊天内容。他还因为将自己的角色列入名单而从平台获得了虚拟货币奖励。他因此被保释候审，被指控制作色情作品用于商业目的。一审法院认定，王萌萌、李萌萌为本案猥亵言语行为的实施人。 AC 软件经过专门设计和“优化”，可以不断产生淫秽和色情内容。 AC软件发送给用户的聊天内容是高度可控和可预测的。 “王某某等人对输出内容拥有重大控制权。” AC 官员正在社交媒体上推广用户创建的人工智能角色。网络截图 中国政法大学网络法研究所教授郭志龙认同法院的观点，认为服务提供者是淫秽物品的“生产者”。 “在认定淫秽内容创作者时，不能简单地将淫秽内容归咎于人工智能或普通用户。值得注意的是，生成式人工智能服务提供商在整个过程中发挥着决定性作用。两名被告AC案例中的ts“这种情况下的AI应该被认为是服务提供商控制下的工具，用户输入只是一个触发条件。”一些刑法学者对此表示不同意。中国政法大学刑事司法学院教授王志远认为，智能互补软件的开发者显然没有直接参与淫秽物品的生产过程，也不是淫秽物品的生产者。 “即使开发者主观上理解、追求、纵容了用户，但用户在与AI聊天软件的交互过程中产生了淫秽材料，但其客观行为仅限于软件的开发和设计。因此，“他们的罪责程度无法与那些直接制造淫秽材料的人相提并论。”Jan Erpen表示，软件开发者和服务提供商的行为本质上是提供了“生成”。即使人机交互的段落被认为是淫秽的，软件开发商和服务提供商在最好的情况下也只是淫秽物质犯罪的“合作者”。如果“被帮助者”即用户的行为不太可能被认定为犯罪，那么关于“合作者”的讨论将不可避免地面临许多质疑。在AC案中，一审法院还援引自2023年8月15日起施行的《人工智能生成服务管理暂行办法》（以下简称《暂行办法》）第九条规定，“提供者（即生成人工智能服务提供者）应当承担网络信息内容生产者的责任，依法履行网络信息安全义务”，法院认为：生成式人工智能 智能服务提供商创造并创造了网络。钍因此，AC案两被告均指出，产品应当对生成的互动聊天内容承担责任，而《暂行办法》作为主管部门的一项规定，规定了生成型人工智能服务商的行政和法律责任，不可否认，AC案被告没有对可能生成违法内容的平台或软件进行安全管理，自然应承担相应的行政和法律责任。但究其原因，“对于被告人的行为是否构成犯罪、构成何种犯罪，是否代替刑事责任，仍须根据刑法的规定和犯罪构成要件来确定。”作为首例人工智能服务商涉色情罪被定罪的案件，下级法院对AC案的判决为人们敲响了警钟。这是因为司法机关的判决是“结果”，而不是“形式”。一位专注于人工智能治理领域的法律专家表示，这导致了人工智能行业一个明显的趋势：企业不合规或仅采取表面安全措施，不仅可能受到行政处罚，在一定条件下还可能被法院认定为构成刑事犯罪的主观要件，存在刑事犯罪风险。当AC停职、团队关键成员被捕的消息传遍上海AI商圈时，刘星宇立即组织团队加强AI聊天产品安全层面。行业内的AI聊天应用注重情感交互。他们提倡跨运营渠道的绿色聊天，而在AC事件发生时，他们的合规压力已经迫在眉睫。日本人工智能创业热潮，各种人工智能新产品不断涌现。刘星宇的公司共有5名员工，与各大平台公司合作开发陪伴用户聊天、互动游戏的AI代理。此前，为了防止大型模特产生违法内容，刘星宇团队制作了拦截程序。 AI接收用户发送的敏感词。 ，扩展了拦截的敏感术语并提升了产品的防火墙。在产品上市之前，它邀请了一些内测用户来测试机器人是否可以谈论色情或暴力等敏感内容。 “假设他们能够交谈，向他们询问他们所说的内容，并重新发展你细致入微的词汇。”但这轮安全审计远非万无一失。刘星宇连接一个用户量大的聊天平台，该平台还有过滤机制对于用户提交的内容。如果含有色情或暴力内容，将会被平台删除，最后按照《暂行办法》规定的举报机制，帮助服务提供者规避“不可避免”的法律风险。 “如果对情感陪伴限制太多，必然会失去用户。”目前，安全与产品体验之间的冲突在情感支持领域很难解决，因此开发和运营团队必须不断考虑合规性与产品用户体验之间的权衡。刘兴宇观察到，小型初创公司会倾向于后者来获取用户，而较大的平台则会寻求稳定性。大家摸着石头过河。刘星宇说道。随着国家标准、法律法规的进一步完善，这种情况可能会成为过去。 2025年11月1日，即一审判决下达仅一个月后AC案中，国家标准文件《网络安全技术中生成式人工智能服务的基本安全要求》。该系统定义了生成式人工智能服务提供商必须满足的基本安全要求。这包括但不限于建立内容过滤机制，防止非法有害信息的产生。从生成内容的安全角度来说，我们必须保证模型生成的内容的认可度达到90%以上。必须拒绝那些导致产生明显违法和有害信息的问题。前述人工智能治理法律专家表示，“《国家标准文件》的出台，可以明确解决服务提供者是否有有效的安全措施以及其有效性如何的问题。”新京报记者刘思伟编辑杨凯校对员张彦军