摘要:近年来,人工智能拟人化互动服务(如陪伴型AI)技术快速发展,能够模拟人类情感与思维,成为用户的“情绪搭子”。然而,该领域也面临数据隐私泄露、用户情感过度依赖、未成年人保护等多重风险。为此,国家互联网信息办公室近期起草了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,拟通过建立身份透明制度、设置使用时长提醒、加强特殊群体保护等措施进行规范,意见反馈截止时间为2026年1月25日。专家认为,该办法旨在平衡发展与规范,鼓励在教育培训、医疗健康等场景的创新应用,以构建健康的人机关系。
线索:
* 投资机会:拟人化互动服务在情感陪伴、心理疗愈、教育培训、养老服务、文化娱乐及硬件终端等领域展现出广阔的应用前景和市场需求,正带动从算法到硬件的产业链发展,是“人工智能+”行动中极具潜力的消费级赛道。
* 潜在风险:行业面临严格的数据隐私与安全合规要求,不当处理用户情感数据可能引发法律与声誉风险。高度拟人化可能导致用户(尤其是未成年人)产生非理性依赖,引发社会伦理争议。新规(如显著标识、时长限制、人工接管等要求)可能增加企业的研发与运营合规成本。投资者需关注政策落地进程及企业对伦理风险的管理能力。
正文:
随着情感计算、自然语言处理、多模态交互等人工智能技术的发展,人工智能拟人化互动服务通过模拟人类人格特征、思维模式和沟通风格,实现了从“机械对话”向“深度共情”的跨越,成为用户的“情绪搭子”。与此同时,该服务也面临信息安全、隐私侵犯、社会伦理、未成年人保护等多重风险挑战。
为深化拓展“人工智能+”并完善治理,国家互联网信息办公室近日起草了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,并向社会公开征求意见,意见反馈截止时间为2026年1月25日。
专家指出,当前以陪伴型AI为代表的人工智能拟人化互动服务,展现出强大的情境理解和共情能力,塑造了新型的人机关系。但其快速发展也伴随系列风险:在数据隐私方面,用户私密情感数据存在被滥用和泄露的风险;在伦理方面,高度拟人化设计易致用户产生非理性情感依赖,甚至引发现实社交疏离;在安全保障方面,缺乏有效的年龄识别与内容过滤,可能危及脆弱群体的心理健康与人身安全。
国家互联网应急中心相关专家分析,拟人化互动服务具有情感交互的深度性和用户关系的持续性两大特征。其算法能模拟人类情感反应,与用户建立情感联结,产生深层次影响;同时,长期高频的交互可能使用户与AI建立类似人际关系的情感纽带,使潜在风险不断累积。未成年人、老年人等群体在使用时更需要引导和保护机制,以防过度依赖。此外,服务在交互中直接输出内容,其价值观传递更为隐蔽,对用户世界观的影响更为深远。
在此背景下,制定的《办法》旨在精准回应由“拟人化”和“情感交互”衍生的风险,以防治“人机边界模糊”为重点,构建多维度风险防控体系。《办法》提出的核心措施包括:
1. 建立身份透明制度:要求服务提供者显著提示用户正在与人工智能交互,在用户初次使用、重新登录时进行动态提醒,以保障用户知情权与选择权,从源头降低认知混淆风险。
2. 设置防沉迷机制:要求服务提供者设置中断冷却提醒功能。当用户连续使用超过一定时长时,需以弹窗等形式提醒用户休息,旨在周期性打破算法营造的沉浸式体验。
3. 加强特殊群体保护:要求建立应急响应机制。当发现用户明确提出实施自杀、自残等极端行为时,应由人工接管对话,并及时联系用户监护人或紧急联系人。针对未成年人、老年人用户,应在注册环节要求填写监护人等信息。
4. 严格保护用户交互信息:对包含用户内心世界与情感弱点的交互数据,施加更严格的目的限制、安全存储与使用禁令,防止心理操控、情感勒索等风险。
专家表示,《办法》在划定安全底线的同时,也积极鼓励拟人化互动服务在合理场景的创新应用。该服务在教育培训、医疗健康、养老服务、文化娱乐等领域具有广阔前景,具体形态包括角色扮演、心理疗愈、数字复活、AI玩具等。在技术层面,它推动了情感计算、多模态交互等前沿技术的集成创新;在经济层面,它带动了从底层算法、内容创作到硬件终端的产业链发展;在社会层面,它在老龄化加深、个体孤独感加剧的背景下,为特定群体提供了可及的情感支持。
总体而言,《办法》旨在引导拟人化互动服务发挥慰藉心灵、增进福祉的潜力,同时坚守隐私、伦理与安全红线,推动构建人机和谐共生、科技向善的未来。
发布时间:2026-01-01 08:21:33



评论 ( 0 )