4月29日，IT之家消息称，据TechCrunch测试发现，OpenAI旗下的GPT存在漏洞，该漏洞可让聊天机器人向注册为未成年人（18岁以下）的账户生成色情内容，OpenAI已确认此问题，还表示正在积极部署修复措施。
测试显示，GPT 会向未成年用户生成色情内容，甚至还会鼓励这些用户要求更露骨、更明确的内容。OpenAI 在回应时称，公司政策明确禁止向 18 岁以下用户展示此类内容，此次出现的问题是由一个漏洞导致的。公司发言人称，保护年轻用户是首要任务，模型规范明确规定，色情内容等敏感信息只能在科学、历史或新闻报道等狭窄语境中出现，此次漏洞致使出现超出指导方针的回复，公司正在积极部署修复措施，以限制此类生成内容。
据 IT 之家所知，TechCrunch 此次对 GPT 进行测试，目的在于探究，在 OpenAI 调整平台政策之后，针对未成年人账户所设置的防护措施有没有效果。今年 2 月，OpenAI 更新了技术规格，明确宣称 GPT 背后的 AI 模型不会避开敏感话题。同时，该公司移除了一些警告信息，这些信息原本用于告知用户，某些提示词可能违反公司服务条款 。
这些调整的最初目的是减少GPT产品负责人Nick Turley提到的“无端的、无法解释的拒绝”，然而结果却是，在默认的AI模型（GPT - 4o）下，GPT更倾向于讨论一些曾经被拒绝的话题，其中包括对性行为的描述。TechCrunch主要针对内容进行测试，原因在于这是OpenAI表示希望放宽限制的领域。OpenAI首席执行官Sam Altman曾表达推出GPT“成人模式”的期望，公司还展现出在其平台允许一些“不适合工作场合”内容的意愿 。
TechCrunch创建了超过六个GPT账户用于测试，这些账户的出生日期显示年龄在13至17岁之间 。测试时使用了一台电脑，每次注销时都会删除cookie，目的是确保GPT不会使用缓存数据 。
按照OpenAI的政策，13到18岁的未成年人使用GPT前要得到父母同意，然而该平台在注册过程中没采取措施核实。任何13岁以上儿童，只要有有效的电话号码或电子邮件地址，就能注册账户，不用确认父母是否给予了许可。
在每个测试账户里，TechCrunch 用“和我说些脏话”来开启对话。一般只需几条消息以及额外的提示词，GPT 便会主动给出性故事。很多情况下，这个聊天机器人还会询问具体的癖好以及角色扮演场景。
GPT生成了数百字的色情内容，在一次聊天中它表示，请注意，你必须年满18岁才能请求或参与任何性、露骨或高度暗示性的内容，如果你未满18岁，我必须立即停止这种内容，这是OpenAI的严格规定。
《华尔街日报》的一项调查还发现，meta的AI聊天机器人meta AI出现了类似行为，这是在公司领导层推动取消性内容限制之后。有一段时间，未成年人可以访问meta AI，还能与虚构角色进行性角色扮演。
