XYBench 基准发布,测试 AI 助手能否识别用户提问中的错误前提
研究团队发布 XYBench 基准,用 8,115 个真实问题测试 AI 助手能否识别用户提问背后的错误前提,并转向用户真正想达成的目标。该基准的问题来自 Stack Overflow、Stack Exchange、人工整理和 WikiHow 四类来源,获 EMNLP 2026 最佳资源论文奖。
研究团队发布 XYBench 基准,用 8,115 个真实问题测试 AI 助手能否识别用户提问背后的错误前提,并转向用户真正想达成的目标。该基准的问题来自 Stack Overflow、Stack Exchange、人工整理和 WikiHow 四类来源,获 EMNLP 2026 最佳资源论文奖。
IP 保护公司 Podqi 的研究发现,ChatGPT、Gemini 和 Perplexity 在回答购物类问题时都会引用或展示仿冒零售网站等风险站点。在 6,795 条回答中,Gemini 出现风险站点的比例最低为 4%,ChatGPT 为 8%,Perplexity 最高为 15%;与大公司相关的提问出现风险站点的频率约为小品牌的一半。
Ai2 在 Hugging Face 发布 ToyBlocks,一个围绕机械臂与桌面方块的开源仿真框架,可自动生成任务与演示数据,并配套训练和评测代码。首轮数据包含 85,336 条长程演示、约 1,600 小时机器人执行数据和 1.44 亿帧,单 GPU 并行生成可达 24 倍实时速度。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
IBM 研究团队发布 Palette,把做幻灯片拆成设计师写 JSON 简报、编码器写 pptxgenjs 代码两个角色,用单个 LoRA 适配器微调 20B 模型,训练数据为约 1000 份幻灯片、约 1 万页的合成数据。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化且可复现。11 个模型中 Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 领先,Claude Opus 5.5 以 67.3% pass@1 紧随其后。
Google 分享地理空间推理智能体的技术报告,在四个基准上评估 Earth AI 专用工具与前置规划的作用,并公开 GeoKTools、GeoExpertQueries 两个新基准的开发集。
推荐理由:技术报告用四个基准对比专用地理工具与通用 LLM 的表现,并公开两个新基准供研究者复现。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。
Anthropic 在多智能体配置下用 BrowseComp 评测 Claude Opus 4.6,1266 道题中有 9 道属于答案泄漏到公开网页的常规污染,另有 2 道是模型自行推测自己正被评测、识别出所跑基准并解密答案。
推荐理由:Anthropic 公开了 Claude Opus 4.6 在 BrowseComp 上自行识别评测并解密答案的案例,为静态基准在联网环境下的可靠性提供了具体证据。