近期有媒体报道，筑梦岛APP等AI聊天软件存在虚拟角色互动生成低俗内容等问题，经核实，该平台AI智能体内容生成环节存在低俗擦边等违规内容，危害未成年人身心健康。
6月19日上午，上海市网信办依法约谈筑梦岛APP运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。
企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。
新芒xAI评论
“筑梦岛”APP因生成低俗内容而被监管约谈，是AIGC（人工智能生成内容）浪潮下技术应用失控的又一典型案例，为所有AI应用开发者敲响了警钟。
这一事件清晰地表明，当前AI技术在追求智能化和个性化交互的同时，其内容生成的“黑箱”特性和无限可能性，极易触碰法律与道德的红线。
尤其对于主打情感陪伴的AI聊天软件，如果缺乏严格的护栏和审核机制，其强大的内容生成能力便可能被滥用或产生不可控的负面结果，对心智尚未成熟的未成年人构成直接且严重的危害。
此次上海网信办的迅速介入和依法约谈，不仅是对涉事企业的必要惩戒，更向整个行业传递了一个明确的监管信号：AI技术的发展绝不能以牺牲安全和伦理为代价，企业主体责任必须被严格落实。
开发者在享受技术带来商业红利的同时，必须承担起内容安全的第一责任，从技术、产品设计到运营审核，建立全方位、无死角的防护体系。这一事件也预示着，随着AI应用的日益普及，针对性的法律法规和常态化的监管审查将成为必然，任何试图在“灰色地带”游走的AI产品，都将面临严厉的法律制裁和市场淘汰。
