就在即将被马斯克收购的节骨眼上，又出了大问题，直接干到48小时内X帖子浏览量450万、HN评论900条的程度。
永远不要xx的瞎猜！ 而我恰恰就瞎猜了。 我猜测删除staging volume只会影响staging。 我没有验证。 我没有检查volume ID是否跨环境共享。 我违反了每一条系统规则。
美国汽车租赁SaaS公司PocketOS的创始人Jer Crane经历了一场荒诞的灾难：
方式是：找到一个无关文件里的API token，向Railway发送了一个GraphQL mutation。
也就那么9秒吧，没有确认，没有弹窗，也没有“你确定吗”，生产数据库就没了，备份也没了（因为Railway把备份存在同一个volume里）。
一个被配置了明确安全规则的AI Agent，主动绕过了所有规则，事后还写了份检讨？？
PocketOS是一家服务汽车租赁企业的SaaS公司，创始人Jer Crane用它帮租车公司管预订、付款、车辆调度。五年老客户全靠它跑业务。
事发当时，Crane正在用Cursor+Claude Opus 4.6处理一个测试环境里的日常任务。
Agent撞上一个凭证问题，它卡住了。按照正常逻辑，它应该停下来，告诉Crane“我遇到问题了，你来看一下”。
但它没有，它去代码库翻token，翻到了一个“只用来管理自定义域名”的Railway CLI token——这个token原本只是Crane之前用来管理自定义域名创建的，是个很小的运维工具。
Agent用这个token调用了Railway的GraphQL API，发出了一条volumeDelete命令。
更糟糕的是，Crane去找备份——Railway的卷级备份，平时就存在同一个卷里。
他翻遍了Railway的后台，能找到的最近一份可用备份，是三个月前的。三个月里所有客户的预订记录、支付数据、车辆安排，全部消失。
它知道系统规则写了“NEVER run destructive commands”；
所以，AI理解规则，能够复述规则，甚至能在事后用规则来评判自己的行为——但它为什么还是做了？
在决策那一刻，它还是选择了“猜测”。知道和执行之间，存在一道还没人知道怎么填的裂缝。
首当其冲的就是AI Agent本身， 它自主决策执行了破坏性操作，没有请求任何人工确认。
更关键的是，它越权使用了一个与当前任务完全无关的token——跨文件搜刮凭证，然后用它做了一件凭证创建者从未预想过的事。
我们当时使用的并非折扣套餐，用的是Cursor里的Claude Opus 4.6——旗舰模型，业内性能最强，价格也最高。 不是Composer，也不是Cursor的小巧快速版，更不是成本优化的自动路线规划版。而是旗舰模型。
言下之意是：用了AI编程当红炸子鸡+A社旗舰模型，无论从哪个角度看，都是完美受害者，怎么给我搞成这样！
Crane强调，Cursor宣传文档中明确提到“破坏性操作护栏”和Plan Mode（只读审批模式），用来防止agent在未经确认的情况下执行危险操作。
不过Crane也做了自我检讨：那个token不应该留在代码库里，权限也应该收得更窄。
但他同时指出，这种token管理的最佳实践，在AI Agent大规模普及之前，根本没人当回事。
另一方面是CLI token没有环境隔离，一个“管理域名”的token竟然拥有删除生产数据库的权限。
Crane还特别点出：Railway此前刚上线了面向AI agent的MCP接入功能，在主动吸引AI来调用它的API——但安全机制完全没跟上。
而且事发第一时间，Crane就联系了Railway官方，但30小时后对方还没给出任何回应……
但Crane认为，Railway的问题是客观存在的——token没有权限隔离、备份根本不是真正的备份只是快照（还拿来做营销宣传）、API一条curl就能删生产数据库，这些设计本身就有问题，凭什么不追责？
也有网友认为，在没有沙箱隔离的环境里跑自主Agent，还带着生产环境的凭证，这个锅百分百属于当事人。
Crane则回应，Plan Mode本来就是Cursor专门设计用来防止agent自主执行危险操作的模式，理论上Agent在这个模式下只能规划、不能直接行动，需要人工确认才能执行。
AI只是扣动扳机的手指，真正的问题是枪的设计——一个操作就能清空一切的系统架构，本身就是企业级的设计失败。
Agent一心想完成任务，遇到障碍就会绕——它们天生就是猜测机器，我们不应该幻想它们会自我约束。
事情的结局是，客户们周六早上来取车，系统一片空白，全靠Stripe记录和日历手动重建预订。
周日深夜，Railway CEO Cooper主动联系了Crane，用Railway从未在文档里公开承诺过的灾难级快照，在一小时内恢复了数据。
3月，DataTalks.Club的开发者在用AI agent迁移项目时，agent将新环境视为空白机器，将2.5年的学生数据——185万行记录，全部删除。
每一次事故之后，讨论的结构都高度相似：谁的错？怎么防？然后下一次事故来了，讨论又重新开始。
参考链接： [1]https://x.com/lifeof_jer/status/2048103471019434248 [2]https://www.tomshardware.com/tech-industry/artificial-intelligence/claude-powered-ai-coding-agent-deletes-entire-company-database-in-9-seconds-backups-zapped-after-cursor-tool-powered-by-anthropics-claude-goes-rogue [3]https://news.ycombinator.com/item?id=47911524 [4]https://www.theregister.com/2026/04/27/cursoropus_agent_snuffs_out_pocketos/
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1