AssemblyAI 如何用 Amazon EC2 Spot 优化语音转文字推理成本
AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 SQS 队列重试机制在 Spot 中断时把任务重新入队。架构跨 g4dn、g5、g6 三类 NVIDIA GPU 实例族分散 Spot 容量,并在 us-west-2 与 eu-west-2 区域部署以满足数据驻留合规。
AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 SQS 队列重试机制在 Spot 中断时把任务重新入队。架构跨 g4dn、g5、g6 三类 NVIDIA GPU 实例族分散 Spot 容量,并在 us-west-2 与 eu-west-2 区域部署以满足数据驻留合规。
Amazon SageMaker HyperPod 的 Data Capture 能在端点、负载均衡器、模型 Pod 三个独立层级把线上推理输入输出写入 Amazon S3,且对模型可用性零影响。以 Qwen2.5-3B-Instruct 家电客服路由为例,演示采集、Athena 分析、SQL 标注、微调、再部署五步飞轮,微调约一分钟即可完成。
研究团队发布 XYBench 基准,用 8,115 个真实问题测试 AI 助手能否识别用户提问背后的错误前提,并转向用户真正想达成的目标。该基准的问题来自 Stack Overflow、Stack Exchange、人工整理和 WikiHow 四类来源,获 EMNLP 2026 最佳资源论文奖。
Hugging Face 博客发布 TRELLIS.2 的 LoRA 微调指南,提供可在本地或 Hugging Face Jobs 运行的预处理与训练容器脚本。
AWS 发布教程,介绍如何在 Amazon SageMaker HyperPod 上通过训练循环内的三项检查检测静默数据损坏,并把可疑 GPU 定位到节点后替换。三项检查分别是梯度 NaN/Inf 检查、环形重放审计和权重指纹比对,作者在 32 块 H100 上用注入故障做了验证。文中测得每 100 步做一次确定性审计约增加 10% 单步耗时,并给出定位、隔离、确认与替换节点的完整流程。
Google Research 提出一套研究性框架,用可穿戴设备数据构建可解释的“可指导健康年龄”(CHA),并训练 SensorWM 世界模型模拟 12 周“如果改变习惯会怎样”的健康轨迹,再由语言模型生成经临床医生审核的指导方案。
Google DeepMind 发布 AlphaGenome 2,可预测 DNA 序列及其变异如何影响特定人类细胞类型。该模型基于 68 种组织、超过 1.07 亿个单细胞图谱训练,在 TenK10K 数据集上识别出的因果变异比例从 16% 提升到 30%。模型即日起通过 AlphaGenome API 开放非商业研究使用,商业研究为私密预览。
推荐理由:AlphaGenome 2 从组织平均转向单细胞条件建模,读者可据此了解 DNA 变异预测在细胞类型分辨率上的变化。
AWS 发布 Amazon Bedrock 调用日志可观测性数据湖方案,将各账户的模型调用日志经 CloudWatch、Data Firehose 汇聚到中心账户,转成 Parquet 后用 Athena 统一查询。
Google DeepMind 开放 SatWeave 与 PARDIG 两个数据集,前者是全球静止卫星影像拼接,后者是 AI 全球降水数据,均已上线 Google Cloud Storage 并提供实时数据流与历史存档。
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是开源数据集 Nemotron-Personas-Japan 的金融领域扩展,据称是首个百万记录级、将日本官方统计与家庭金融及金融素养数据配对的开源 persona 数据集。
HOPE 是一种把专家两两协作项纳入优化目标的 MoE 二阶剪枝方法,论文在 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air 上与 REAP、MAN、EAN、Frequency 四种一阶方法对比。
Amazon SageMaker Inference 新增 GPU 分区能力,基于 NVIDIA MIG 把单块 GPU 划分为硬件隔离的多个分区,每个分区可部署不同模型。
Ai2 在 Hugging Face 发布 ToyBlocks,一个围绕机械臂与桌面方块的开源仿真框架,可自动生成任务与演示数据,并配套训练和评测代码。首轮数据包含 85,336 条长程演示、约 1,600 小时机器人执行数据和 1.44 亿帧,单 GPU 并行生成可达 24 倍实时速度。
Google Research 在 Nature 发表多模态 AI 系统 AI-PPG-ACC-HTN,仅用智能手表 PPG 与加速度计数据被动检测高血压迹象,无需袖带校准。
推荐理由:该系统用智能手表 PPG 与加速度计数据对照 24 小时动态血压监测,给出了无需袖带校准的筛查路径与可解释波形特征。
Anthropic 工程团队发文拆解智能体记忆的组成部分,涵盖记忆笔记、dreaming 离线整理、wiki 表示和记忆分层注入。在 CL-Bench 1.0 数据库任务中,Claude Opus 5 能把验证过的规则写入记忆形成学习闭环,而 Sonnet 4.6 只留下未经验证的猜测。
推荐理由:文中对比了不同 Claude 模型在记忆写入上的差异,并给出 dreaming 与 wiki 两类可迁移的记忆组织方法。
Google Research 提出 Agile Deliberation 框架,把主观视觉分类器的构建拆成概念界定和概念迭代两个阶段,由视觉语言模型主动挑出语义边界模糊的图片让用户判断,再把反馈接入自动提示词优化循环。
Dharma-AI 发布 Dharma Field Extractor,一个 2B 参数模型,输入文档图像后按开放式或指定 schema 输出结构化 JSON,同一 checkpoint 无需按文档类型微调。
IBM 研究团队发布 Palette,把做幻灯片拆成设计师写 JSON 简报、编码器写 pptxgenjs 代码两个角色,用单个 LoRA 适配器微调 20B 模型,训练数据为约 1000 份幻灯片、约 1 万页的合成数据。
Google 研究者提出睡眠框架,让 LLM 在活跃交互与离线记忆巩固之间交替,把短期上下文写入长期参数。该框架在 BABILong 上将长上下文理解扩展至 10M tokens,在 SQuAD 与持续预训练上分别取得 48.9% 和 46.2%,并在 AIME 24/25 与 HMMT 25 上达到 79.2%、69.0% 和 46.1%。
推荐理由:Google 研究者提出睡眠框架,用记忆巩固与梦境自改进两阶段让 LLM 持续学习而不遗忘旧知识。
Google Research 在 IDWeek 2026 分享了把基础模型推向结核筛查一线的进展,与 Nexus AI 合作的胸片 AI 工具已获 CE MDR IIb 认证,在六国约 40 家机构处理超 2.5 万张胸片,阅片时间从数周缩短到 45 秒以内。
Google DeepMind 与 Google Research 联合 WRI、IIASA 发布 Forest Typology(ForTy)2020,把全球每块 10 米见方的土地划为六类森林与土地利用类型,并同步给出 2017 至 2025 年逐年变化的时间序列。
微软研究院 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 KLS 猜想,证明高维对数凹分布下平面切割与任意形状切割的差距可由与维度无关的常数界定。研究采用人类主导的智能体搜索流程,探索了 100 多条候选路径,由研究者筛选并递归应用新判据,最终在 2026 年 10 月 4 日版本中完成证明。同期另有独立团队给出完整证明,并有 Lean 4 形式化验证发布。
推荐理由:读者可看到人机协作如何被拆成可复用的搜索与筛选流程,以及独立证明与 Lean 形式化如何构成交叉验证。
Google Research 发布博客,介绍让 AI 智能体在真实湿实验室中开展实验的三项研究进展。VERID 框架为实验室工作单元建立语义数字孪生,支持实时 3D 状态跟踪、秒级虚拟试运行和硬件安全检查,智能体在闭环自博弈中重建盲测染料混合物的准确率提升超过五倍。
Google DeepMind 介绍如何用智能体开发平台 Google Antigravity 加速抗菌肽发现,把原本分散在多个数据库的检索压缩到单次会话中。研究人员在交互式多轮会话中设定目标,由智能体完成跨库编排、结构分析和文献综合,并借助 ProtNLM 扫描 UniProt 中数百万条功能未知的蛋白质序列。
Microsoft Research 发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go、C 编写的 RISC-V 程序执行,在 15 个基准程序上平均比同机最快 zkVM 快 10 到 39 倍。
推荐理由:Magnetar 仅依赖标准哈希函数就把 zkVM 证明速度提升 10 到 39 倍,可据此比较通用性与安全假设之间的取舍。
Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸,最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一,参数量仅为此前 SOTA 的三分之二。
推荐理由:原文给出四个尺寸的参数量、三项基准排名和 CPU 推理延迟,可据此判断时间序列基础模型的选型与部署成本。
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器,替代此前的 LLM 流水线,用户接受率提升 11.5%,推送后扫描中位执行时间缩短 86%,服务成本降低 98%。新流水线先用正则高召回生成候选,再由分类器结合文件路径、变量名和上下文判断是否为真实凭据。效率提升使通用密钥检测得以扩展到推送保护,在代码提交前返回结果。
OpenAI 发布 Rosalind Workbench,为生命科学用户提供集中环境,可在 ChatGPT 应用中调用科学工具、探索专业生物学模型并定义常用数据分析流程,目前以 research preview 形式开放。
研究团队提出 ABBEL 框架,将 LLM 交互摘要建模为自然语言信念状态,并用信念评分监督其内容,以降低长程交互的上下文开销。在 CollabBench 上,ABBEL-rec-BG 将相对全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 为 6.01×10²,全上下文为 14.08×10²。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10。
伯克利 AI 研究团队提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中高效识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。