跳到正文

资料库

海外 AI 文章、播客与资讯,挑值得以后回头再读的,附中文要点和推荐理由。

本周入选
33
来源数
10
研究解读138 分钟评分 88

理解现代 LLM 中的位置嵌入:从 GPT-2 到 RoPE 与 2026 年架构

Ahead of AI · 论文、原理、架构 ·

  • 因果掩码本身提供隐式顺序信息,但无法区分位置间隔大小
  • GPT-2 将可学习位置向量加到 token 嵌入上,RoPE 则在注意力内部注
  • 文章附小型 PyTorch 实现,并汇总 2026 开源模型的位置编码选择

为什么值得看:把位置编码这一常被跳过的基础构件讲透,附实现与现代架构对照,适合作为长期查阅的原理参考。

  • 工程实践52 分钟评分 88

    Show HN:把《黑色行动2》静态重编译为原生 ARM64 macOS 应用

    一个非官方粉丝项目用 Remill 把《黑色行动2》三个 x86 可执行文件的约 15 万个函数提前提升为 LLVM IR,再经自研 pass 优化后编译成 ARM64 原生代码,并手写 Win32 运行时、用 Metal 实现 Direct3D 11,在 M1 上以 51–60 fps 运行战役、僵尸和多人模式。作者还记录了 13 个从画面症状到根因再到修复的调试发现,并说明为何不走 Wine/CrossOver 路线。

    Hacker News · Show HN · 新项目早期发现
  • HN
    开源22 分钟评分 84

    Show HN:Fursoy——用 SystemVerilog 实现的乱序 RV64IMAFDV 处理器,可启动 Linux 6.6

    Fursoy Slice-1 是一个从零开始用 SystemVerilog 编写的 64 位乱序超标量 RISC-V 处理器,具备 Sv39 虚拟内存、M/S/U 特权级分离、非阻塞 L1 缓存与硬件 PTW,在 Verilator 中成功启动主线 Linux 6.6.50 和 BusyBox 用户空间,并给出逐周期的 8 类 CPI 分解遥测(IPC 0.848)。作者还基于 Nangate 45nm 标准单元对 8 个核心模块做了 500 MHz 综合与 STA 收敛评估。

    Hacker News · Show HN · 新项目早期发现
  • SW
    工程实践6 分钟评分 84

    parse_number() 作为 SQLite 扩展:C 与 Rust 实现对比

    Simon Willison 用 Claude 辅助,把同一个 parse_number() 函数(把 -$1,234.56、'12.5%' 这类字符串转成可求和、可排序的数值)分别用 C 和 Rust 写成四个 SQLite 扩展,并对比性能、代码复杂度和产物体积。优化后的 C 版本每行 16–19 ns,约为 Rust 版本的两倍快,远快于 SQL replace();C 扩展仅 14 KB,Rust 版本为 298–321 KB。普通 C 版本因依赖 strtod() 在小数上偏慢,改用 Clinger 快速路径后追平,所有版本在 800 万次模糊测试中结果一致。

    Simon Willison · 新用法、实测、工具发现

播客 · 可以边听边看要点

全部播客 →

资讯速览

全部资讯 →