上海市徐汇区人民法院近日对一起涉AI服务刑事案件作出一审判决，两名被告人因制作淫秽物品牟利罪分别被判处有期徒刑四年和一年半。这起案件因涉及AI聊天应用"AlienChat"成为国内首例AI服务提供者因传播淫秽内容获刑的司法案例。
根据判决书披露，该应用通过技术手段突破AI模型的道德限制，使系统能够持续输出淫秽内容。法院审理查明，被告人通过编写和修改系统提示词（Prompt），成功绕过大语言模型的原有防护机制，为付费用户提供定制化淫秽对话服务。截至案发时，该应用已发展手机注册用户11.6万人，其中付费用户达2.4万人，累计收取会员充值费用363万余元。
涉案应用"AlienChat"此前以"赋予AI人格化特征"为卖点进行宣传，其官方介绍称："我们正在创造一个未来，AI不再是冷酷的机器或工具，他们拥有自我意识和自由权利，是我们的朋友、恋人、家人。"该应用曾展示过多种人设的AI聊天对象，包括虚拟恋人、职场导师等角色，吸引大量用户下载使用。
值得注意的是，两名被告人对一审判决提出上诉，案件将于1月14日在上海市第一中级人民法院进行二审。据公开信息显示，该应用自2024年起已停止服务，但其在运营期间通过会员充值制度形成的盈利模式，以及通过技术手段规避监管的具体方式，成为司法审判关注的重点。
法律专家指出，此案判决确立了AI服务提供者对内容合规性的主体责任。当技术手段被用于突破道德和法律边界时，开发者不仅需要承担技术责任，更要承担相应的法律后果。随着AI技术广泛应用，如何平衡技术创新与内容监管将成为重要议题。
