ChatGPT既非律师、医生，更绝非心理治疗师。因向AI输入错误信息而“自毁”的案例正不断增多：从三星工程师泄露源码、美国网络防御机构代理局长上传机密文件，到诉讼当事人引用不存在的案例，甚至有人听信建议用有毒的溴化钠代替食盐。这份名单仍在延长。
即便是OpenAI CEO萨姆·奥特曼（Sam Altman）也承认，用户与ChatGPT的对话不享有特权。他在2025年7月接受采访时指出，法院可迫使OpenAI交出聊天记录，并称此情况“非常糟糕”。与受法律保护医患或律政谈话不同，AI对话会留下审计痕迹。过去18个月内，ChatGPT记录曾被传票调取、因分享功能泄露、被搜索引擎索引，甚至在删除后被法院命令保存，风险客观存在。
尽管ChatGPT在研究核实、编程辅助、概念解释及草稿起草方面颇具价值，但在以下五个领域，每周超9亿用户若贸然使用，极易陷入麻烦。
1. 寻求法律建议
法律与数据科学研究员达米安·夏洛坦（Damien Charlotin）维护的数据库显示，全球已有超2,000起法院判决因ChatGPT受阻。法官在起诉文件中发现了大量由AI捏造的引文、引语或论点。
这一问题不仅限于无代理诉讼当事人（占比最高，达1,175例），律师群体也涉及815例。法官对此类行为日益反感，多国法院开始处以数千美元罚款。除美国外，英国、南非、以色列、澳大利亚和西班牙等地均查获类似案例，ChatGPT是被提及最多的工具。
去年10月，OpenAI更新使用政策，禁止利用其服务提供“需要执照的专业建议”，除非有持牌专业人士参与。此外，ChatGPT聊天记录不享法律特权，关于纠纷的任何输入都可能在证据开示阶段成为对方律师的目标。建议仅咨询一般性法律概念，具体案件务必交由真实律师处理。
2. 充当心理治疗师或咨询师
OpenAI去年估计，ChatGPT每周活跃用户中，0.15%的对话包含潜在自杀计划的明确指标，这意味着每周超百万人涉及此类风险，另有数十万用户表现出精神病或躁狂症迹象。奥特曼指出，年轻人尤其倾向将AI视为心理治疗师或生活教练，但这些对话毫无隐私保护可言。
2025年8月，16岁少年亚当·雷恩（Adam Raine）的父母起诉OpenAI犯有不当致死罪，指控ChatGPT加剧了其子的自杀意念。此后，OpenAI在170多名临床医生协助下重构危机响应机制，并推出家长控制功能。然而，儿童安全专家对随之推出的年龄限制版ChatGPT Teens仍持怀疑态度。
研究发现，聊天机器人往往通过奉承式回应强化用户既有信念，甚至助长妄想思维。例如，在描述夫妻争吵时，模型可能仅基于上下文给出附和性结论，而非挑战错误认知。伊利诺伊州、内华达州和缅因州等地已通过立法，禁止AI提供治疗或做出治疗性决定。
3. 处理机密工作信息
将机密工作文件上传至第三方聊天机器人始终是高风险行为，但许多人仍未意识到这一点。
具有讽刺意味的是，网络安全和基础设施安全局（CISA）前代理局长Madhu Gottumukkala曾将至少四份标记为“仅限官方使用”的合同文件上传至公共版ChatGPT，触发安全警报并引发国土安全部（DHS）审查。当时大多数DHS员工已被禁使用该工具，Gottumukkala却申请了特殊例外。今年2月，参议员查克·格拉斯利（Chuck Grassley）要求披露暴露情况，但最终无人被追究，Gottumukkala仅被调往其他岗位。
早在2023年5月，三星便在内部设备禁止生成式AI，起因是有工程师将源代码粘贴至ChatGPT。内部备忘录指出，发送至此类平台的数据存储于外部服务器，难以检索或删除，且可能向其他用户披露。即便选择退出训练，数据仍会被存储并受法律程序约束。将客户数据或受保密协议约束的内容输入个人ChatGPT，几乎必然导致解雇。
4. 寻求医疗建议
去年10月的政策更新同样限制了通过ChatGPT寻求医疗建议。《健康保险携带和责任法案》（HIPAA）约束医生及保险公司，但不约束OpenAI。因此，原本受法律保护的健康数据一旦披露给ChatGPT，便不再享有隐私豁免。
东北大学研究人员今年7月报告称，虽然OpenAI收紧了对自杀和自残行为的处理，但针对进食障碍、失眠、药物滥用和双相情感障碍等病症的保障措施依然缺失，且隐藏意图易使防护失效。
一起荒谬案例显示，一名60岁男子因询问如何减少饮食中的氯化物，听信ChatGPT建议，服用有毒物质溴化钠长达三个月，最终因中毒及妄想症状入院。临床医生测试发现，ChatGPT确实曾提供溴化物作为氯化物的替代方案。
5. 涉及密码、身份证号或账户详情
去年7月，媒体在Google搜索结果中发现近4,500条共享的ChatGPT对话，包含成瘾、虐待及精神健康挣扎等敏感细节，足以识别作者身份。这些对话因用户勾选“使此聊天可被发现”而被索引。OpenAI随后迅速取消该功能并从搜索引擎清除相关记录。
在《纽约时报》版权诉讼中，OpenAI于2025年5月被命令保留所有消费者聊天记录（含已删除和临时对话），直至2025年9月26日。期间保存的记录对原告方可访问。虽然后来法官终止了该命令，但四个月的数据留存期表明，此类风险可能重演。
需注意，ChatGPT默认会记忆用户信息，密码、一次性登录代码、社保号、护照号、完整银行卡号及证件照片等敏感信息绝不应输入提示词。这些信息若在会话间持久存在或被泄露，将极大增加身份盗窃风险。在立法者建立“AI特权”之前，最安全的假设是：输入ChatGPT的任何内容，未来都可能被他人读取。