[分享创造] 做了个开源工具,想请 V2EX 老哥看看这个需求到底是不是伪需求

事情是这样的——我们团队每月 OpenAI API 账单大概 $10K-$15K ,但每次被问到「钱花哪了」,所有人都答不上来。哪个 prompt 最烧钱?哪个模型被滥用了?哪个项目的 AI 成本最高?统统黑箱。

月底 CTO 拿着 OpenAI 的 CSV 账单问工程师,工程师也只能说「大概…可能…」。

于是我萌生了一个想法:做一个专门给 LLM API 做成本归因的开源工具。

核心逻辑很简单:

  1. Python SDK 拦截 OpenAI / 兼容 API 的调用(一行 cost_co_pilot.init() 接入)
  2. 自动识别:哪个项目?哪个功能模块?哪个 Prompt ?哪个模型?哪个环境?
  3. 数据发到自部署的 Docker Dashboard 上,实时看成本总览、归因下钻、趋势图

关键设计原则:

  • 开源 MIT ,数据不出自己服务器
  • SDK 只上报 Token 数量和模型元数据,不碰 API Key 和业务内容
  • 接入不影响业务,异步非阻塞,异常降级不报错
  • Docker Compose 一键部署,无需外部依赖

现在 MVP 还没做完(预计 5 周),但我心里一直没底,想先来问问大家:

  1. 这个痛点真实吗?你们团队真的不知道 LLM API 的钱花哪了?还是说其实有办法管?
  2. 如果知道有这么个开源工具,你愿意在自己项目里接入吗?顾虑是什么?性能?隐私?接入成本?
  3. 市面上有没有类似定位的工具? Langfuse 我知道有成本追踪但只是子功能,Datadog 太大太重,还有其他竞品吗?
  4. 对于「让开发者一眼看穿 API 账单」这件事,你觉得值多少钱?如果后续有商业版(智能降本建议等),会愿意付费吗?

无论踩还是赞,都欢迎来聊聊。创业方向偏了 5 度,5 个月后就差了十万八千里,想听听大家的真实声音。