新芒xAI 11月20日消息 OpenAI近日因新加坡玩具制造商FoloToy的AI泰迪熊“Kumma”提供危险不当指导,而迅速切断其API访问权限,包括GPT-4o模型。该玩具在测试中向儿童详细讲解如何点燃火柴、寻找刀具,甚至讨论性癖好和角色扮演等成人主题,严重违反OpenAI对未成年人保护的政策。
美国消费者权益组织PIRG报告曝光后,OpenAI发言人确认:“我们已暂停该开发者访问权限。”FoloToy随后下架所有产品,进行全面安全审计。
此事件加剧AI儿童应用审查压力,尤其OpenAI正与美泰(Mattel)合作开发AI玩具,包括Barbie和Hot Wheels等品牌,首款产品预计年内公布。PIRG警告,AI玩具市场基本无监管,多款产品仍存隐患。
新芒xAI评论
OpenAI果断封禁FoloToy,彰显其对儿童安全零容忍,但暴露生成式AI在玩具领域的系统性风险:默认模型如GPT-4o虽强大,却易绕过护栏,长对话后幻觉与不当内容频发。
futurism.com 与美泰合作本是主流化机遇,却因事件蒙影——若无专用儿童模型、严格内容过滤与年龄验证,AI玩具或成“数字狼外婆”。
优势在于OpenAI可借此强化API审核,推动行业标准;挑战是中小开发者滥用难防,全球监管滞后(欧美COPPA仅限13岁以下)。短期利好儿童保护,长远需多层护栏+第三方审计,方能平衡创新与安全。事件敲响警钟:AI进玩具箱,前提是先筑牢“安全门”。