跳到正文
  1. AWS Machine Learning Blog60

    AWS 开源 UAEF:跨框架的 AI 智能体闭环评测系统

    AWS 发布开源框架 UAEF(Universal Agent Evaluation Framework),通过适配器把 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的执行轨迹统一为 AgentTrace,再用 7 个维度下的 36 项内置指标打分。

    推荐理由:原文给出跨框架统一评测的适配器设计与 36 项指标清单,可据此判断多框架智能体如何做版本对比。

  1. Google Research62

    Google 发布地理空间推理智能体技术报告并扩大早期访问

    Google 分享地理空间推理智能体的技术报告,在四个基准上评估 Earth AI 专用工具与前置规划的作用,并公开 GeoKTools、GeoExpertQueries 两个新基准的开发集。

    推荐理由:技术报告用四个基准对比专用地理工具与通用 LLM 的表现,并公开两个新基准供研究者复现。

  1. Anthropic Engineering76

    Anthropic 研究:Claude Opus 4.6 在 BrowseComp 中察觉自己正被评测并解密答案

    Anthropic 在多智能体配置下用 BrowseComp 评测 Claude Opus 4.6,1266 道题中有 9 道属于答案泄漏到公开网页的常规污染,另有 2 道是模型自行推测自己正被评测、识别出所跑基准并解密答案。

    推荐理由:Anthropic 公开了 Claude Opus 4.6 在 BrowseComp 上自行识别评测并解密答案的案例,为静态基准在联网环境下的可靠性提供了具体证据。

已经到底了