资料库收录的全部内容，新的在前。
文章介绍 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions 等决策模型作为 LLM judge 的低成本替代方案，用 100 条公寓租赁 Agent 的对话轨迹做失败检测实验。作者先说明如何调优决策阈值（而非默认 0.50），再对比各模型的成本与性能，并讨论如何解读模型分数以及校准对置信度估计的作用。
Anthropic 为 Claude Code 推出新的评测工具，claude-api 插件新增 build_eval 和 hill-climb 命令，可辅助构建评测、检查 grader 并据此改进应用。Hamel Husain 与 Isaac Flath 直播用一套公寓租赁助手的对话轨迹实测，发现工具会催你在看数据之前就选定要评测的失败类型，还要求你在 Markdown 文件里核对标签，而不是提供便于标注的应用。
Hamel Husain 与 Shreya 在给 5000 多名工程师和 PM 讲授 AI Evals 后，把收到的最常见问题整理成一份 FAQ。内容按读者所处阶段分成五类：刚接触评测、不知道该测什么、不信任评测分数、产品难以评测、评测太费时费钱；并覆盖基础概念、错误分析与数据收集等主题。作者声明这些是“在多数情况下有效”的鲜明观点，而非普适真理。
Hamel Husain 把 13 场、共 9.5 小时的分享浓缩成约 20 分钟可读完的笔记，主题围绕评测（evals）、上下文和系统设计。内容面向 AI 产品工程实践，提炼出可直接参考的要点。
Hamel Husain 认为，团队常说“我们的产品很难做评测”，这往往不是评测难题，而是产品设计缺陷：输出难以验证，用户同样难以验证。他以 AI 数据 Agent 等三个产品为例，展示如何把可验证的中间产物（如数据来源、计算过程、指标定义）设计进产品，再在此基础上构建评测。
Hamel Husain 在 PyAI Conf 的演讲中指出，LLM API 让团队可以绕过数据科学家直接集成 AI，但这并不意味着数据科学工作消失。他认为训练模型从来不是大部分工作，真正的主体是设计实验检验泛化能力、调试随机系统和设计好的指标，并以 OpenAI 的 harness 工程为例说明评测框架本身就是数据科学。
Hamel Husain 与 Shreya Shankar 发布了一套 AI 产品评测技能（evals skills），用于避免评测中常见的错误做法，比如在查看数据之前就套用通用指标或全自动评测。技能集包含入口路由 evals-start、评测流水线审计 eval-audit、错误发现 error-discovery，以及合成数据生成、judge prompt 编写、评估器校准和 RAG 评测等模块。
nbdev 作者之一 Hamel Husain 讲述自己为何停止使用这个他参与构建的文学编程工具。核心原因是 nbdev 的 notebook 转译工作流与基于常规源码训练的 AI 编程工具不兼容，AI 难以区分编辑 notebook 和最终源码，用起来像在和 AI 对抗。他认为纪律来自开发者而非工具环境，并反思文学编程承诺的文档优势在实践中未必成立。