
前沿实验室在买什么数据:深入 Handshake AI 的 RL 环境与评测
Latent Space · 工程访谈 ·
- Agent 能口头解释税务规则,却在代码里认不出该套用规则的那一行
- VIALS 用科研图像出题:模型选对两张坏死切片,还多选了 G
- 评分器设有惩罚陷阱、依赖门与部分给分,曾有 agent 设法钻空子
为什么值得看:对做 Agent 评测与训练数据的人,这里有一手的评测环境搭建细节、评分器设计和真实失败案例,可长期参考。
海外 AI 文章、播客与资讯,挑值得以后回头再读的,附中文要点和推荐理由。

Latent Space · 工程访谈 ·
为什么值得看:对做 Agent 评测与训练数据的人,这里有一手的评测环境搭建细节、评分器设计和真实失败案例,可长期参考。

Latent Space 访谈 Resend 联合创始人兼 CEO Zeno Rocha,讨论开发者工具如何被 Agent 选中:在一项 AEO 研究中,Claude Code 在可提取的 102 次邮件推荐里有 64 次首选 Resend。他讲了几个具体做法——先用 React Email 模板进入开发者仓库获得分发,在定价页 URL 后加 .md 让 Agent 一次请求就能读到价格表,以及 MCP server 工具数从 20 个左右扩到 80 多个的取舍。访谈后半段转向「发送之后」的投递问题:共享追踪域名一旦被钓鱼滥用遭封禁,会连累其他客户的正常邮件,因此 Resend 推出自定义追踪域名。
Simon Willison 用 Claude Code 搭建了一个名为 Beep Locator 的系统,让多台设备通过浏览器麦克风和 WebSocket 协同,对房间里的神秘蜂鸣声做声学三角定位。系统基于 2007 年的 BeepBeep 论文,通过设备间互相播放 chirp 对齐录音,最终把声源定位到约 40cm 范围内,作者据此找到了一台需要换电池的一氧化碳探测器。文章还记录了用 Claude 边运行边热更新代码、逐步加功能(粗略模式、拍手测试、录音回放)的过程。

Latent Space 访谈斯坦福讲师、Monaco AI 负责人 Mihail Eric,介绍 CS146S《现代软件开发者》课程第二年的改版:学生已普遍用 agent 写代码,作业改为向开源项目提交补丁并由维护者评审。他还分享 Monaco 的工程取舍——代码评审买 Devin、agent 工作区自建,以及“买来学、自建来留”的原则。

Latent Space Podcast76

Latent Space Podcast72

Latent Space Podcast72

Latent Space Podcast72
论文、原理、架构 · 值得收藏:这是一手实操课程,把推理模型的评测、推理时扩展、RL 和蒸馏都落实到可运行的代码上,适合想真正搞懂原理而不是只读结论的工程师长期参考。
工程访谈 · 值得收藏:对做 AI 工程和带团队的人,它提供了一套可借鉴的课程设计与团队落地思路:如何训练人读懂 diff、如何让仓库对 agent 友好、代码审查成为瓶颈后怎么办。
模型与研究进展解读 · 值得收藏:对做模型评测和选型的人,这篇提供了关于基准设计取舍、开源与闭源差距成因的长期可参考判断。
Agent 评测与可靠性 · 值得收藏:给出决策模型用于自动评测的阈值调优方法和多模型实测对比,对搭建评测流水线的团队有可复用的参考价值。
模型与研究进展解读 · 值得收藏:对开源权重模型竞争格局、许可证限制与实验室组织方式的判断,过一段时间仍可作为参考框架。
新用法、实测、工具发现 · 值得收藏:一个成本很低、可直接照搬的 PR 写作习惯,解决的是 AI 编码 Agent 普及后普遍出现的评审负担问题。
工程访谈 · 值得收藏:由虚拟细胞一线研究者解释该领域评测失效的原因和下一步方向,对关注 AI for Science 的读者有长期参考价值。
工程访谈 · 值得收藏:这是一份来自一线团队的经验记录,讲的是用 Agent 重写大型桌面软件的路径、数据与分工边界,对做 AI 编码和 Agent 工程的人有可复用的参考价值。
工程访谈 · 值得收藏:提供了一套可复用的“速度 vs 冗长度”实测方法(同时看均值、中位数和端到端时延),但样本仅 30 题且未评答案正确率,结论需谨慎参考。
新项目早期发现 · 值得收藏:对同时跑多个浏览器 Agent 的工程师来说,它给出了一个解决焦点抢占、资源占用和登录共享的具体工程方案,也提供了与 Playwright 方案的取舍对照。
每周行业与研究补漏 · 值得收藏:GPT-6 Cyber 的多 Agent 漏洞挖掘流水线(侦察、分析、验证、利用、修补)是一份可复用的 Agent 编排与评测案例,值得做 Agent 工程的人回头细读。
新项目早期发现 · 值得收藏:展示了“agent 跨运行积累经验”的具体工程机制(学习内容如何校验、评分、提交与淘汰),对做 agent 记忆和可靠性的人有参考价值。