01Braintrust 是什么
Braintrust 做的是「模型和提示词的 A/B 测试」：准备数据集和评分标准，改一版就跑一轮，看指标变好还是变坏。
它的强项是评估工程——支持自定义评分器、人工标注和线上反馈回流，团队可以像做产品实验一样迭代模型。
短板是门槛。要写评分逻辑和数据集，非工程团队用不起来；价格按用量，规模大了不便宜。
02Braintrust 能做什么
数据集评估
自动打分。
版本对比
并排看指标。
自定义评分
写逻辑。
人工标注
辅助。
线上反馈
回流。
03怎么开始用 Braintrust
- 先定评分标准不然评估没意义。
- 攒真实样本别自己编。
- 一次只改一个变量结论才清楚。
- 把线上反馈接回来持续迭代。
04一次评估的流程
第一步偷懒，后面全是假的。
写清评分标准
什么算好要有定义。
攒真实样本
自己编的题没用。
跑基线版本
先有参照。
一次改一个变量
结论才可归因。
05好在哪，差在哪
评估工程完整
从数据到指标。
能对比版本
结论清楚。
团队协作
共享实验。
用得上
- 提示词版本对比
- 模型选型评测
- 效果回归
- 团队共享实验
别指望
- 零评分标准
- 非技术团队
- 免费大量跑
- 替代线上监控
06价格和套餐
| 版本 | 价格 | 说明 |
|---|---|---|
| 免费档 | 免费 | 用量限制。 |
| 团队版 | 按用量 | 评估和协作。 |
| 企业版 | 面议 | 私有化和合规。 |
按用量计费，免费档够试。要写评分逻辑，非技术团队上手慢。
07谁适合用
提示词迭代
版本对比。
模型选型
同评测集。
效果回归
改完测一遍。
团队实验
共享结论。
08官网入口
官方域名 braintrust.dev，国内访问需要网络条件。评估数据会存到它的服务端。
09同类工具
10常见问题
Braintrust 是什么？
AI 产品的评估和实验平台，能跑数据集评分并对比版本。
和 LangSmith 怎么选？
要评估工程和实验管理选 Braintrust，要追踪和 LangChain 生态选 LangSmith。
怎么收费？
按用量计费，有免费档。
上手难吗？
要写评分逻辑和准备数据集，有一定门槛。