跳到正文

资料库

海外 AI 文章、播客与资讯,挑值得以后回头再读的,附中文要点和推荐理由。

本周入选
33
来源数
10
研究解读138 分钟评分 88

理解现代 LLM 中的位置嵌入:从 GPT-2 到 RoPE 与 2026 年架构

Ahead of AI · 论文、原理、架构 ·

  • 因果掩码本身提供隐式顺序信息,但无法区分位置间隔大小
  • GPT-2 将可学习位置向量加到 token 嵌入上,RoPE 则在注意力内部注
  • 文章附小型 PyTorch 实现,并汇总 2026 开源模型的位置编码选择

为什么值得看:把位置编码这一常被跳过的基础构件讲透,附实现与现代架构对照,适合作为长期查阅的原理参考。

  • 工程实践52 分钟评分 88

    Show HN:把《黑色行动2》静态重编译为原生 ARM64 macOS 应用

    一个非官方粉丝项目用 Remill 把《黑色行动2》三个 x86 可执行文件的约 15 万个函数提前提升为 LLVM IR,再经自研 pass 优化后编译成 ARM64 原生代码,并手写 Win32 运行时、用 Metal 实现 Direct3D 11,在 M1 上以 51–60 fps 运行战役、僵尸和多人模式。作者还记录了 13 个从画面症状到根因再到修复的调试发现,并说明为何不走 Wine/CrossOver 路线。

    Hacker News · Show HN · 新项目早期发现
  • Agent12 分钟评分 86

    前沿实验室在买什么数据:深入 Handshake AI 的 RL 环境与评测

    Latent Space 与 AI 数据公司 Handshake AI 的联合深度访谈:其 AI 训练业务约一年内做到 10 亿美元年化毛收入。节目分金融、生命科学、编码与安全四段现场演示:ATLAS-Finance 模拟投行任务中,agent 把客户邮件里的 goodwill 数字直接搬进 Python 相减而出错;VIALS 基准用凝胶电泳和脑组织切片考模型识图;安全段则追踪 agent 的工具调用与文件访问。团队还讲了前沿实验室如何采购与评估数据集、rubric 与专家判断的差距,以及评分器的惩罚陷阱与部分给分设计。

    Latent Space · 工程访谈
  • HN
    开源22 分钟评分 84

    Show HN:Fursoy——用 SystemVerilog 实现的乱序 RV64IMAFDV 处理器,可启动 Linux 6.6

    Fursoy Slice-1 是一个从零开始用 SystemVerilog 编写的 64 位乱序超标量 RISC-V 处理器,具备 Sv39 虚拟内存、M/S/U 特权级分离、非阻塞 L1 缓存与硬件 PTW,在 Verilator 中成功启动主线 Linux 6.6.50 和 BusyBox 用户空间,并给出逐周期的 8 类 CPI 分解遥测(IPC 0.848)。作者还基于 Nangate 45nm 标准单元对 8 个核心模块做了 500 MHz 综合与 STA 收敛评估。

    Hacker News · Show HN · 新项目早期发现

播客 · 可以边听边看要点

全部播客 →

资讯速览

全部资讯 →