
理解现代 LLM 中的位置嵌入:从 GPT-2 到 RoPE 与 2026 年架构
Ahead of AI · 论文、原理、架构 ·
- 因果掩码本身提供隐式顺序信息,但无法区分位置间隔大小
- GPT-2 将可学习位置向量加到 token 嵌入上,RoPE 则在注意力内部注
- 文章附小型 PyTorch 实现,并汇总 2026 开源模型的位置编码选择
为什么值得看:把位置编码这一常被跳过的基础构件讲透,附实现与现代架构对照,适合作为长期查阅的原理参考。
海外 AI 文章、播客与资讯,挑值得以后回头再读的,附中文要点和推荐理由。

Ahead of AI · 论文、原理、架构 ·
为什么值得看:把位置编码这一常被跳过的基础构件讲透,附实现与现代架构对照,适合作为长期查阅的原理参考。

一个非官方粉丝项目用 Remill 把《黑色行动2》三个 x86 可执行文件的约 15 万个函数提前提升为 LLVM IR,再经自研 pass 优化后编译成 ARM64 原生代码,并手写 Win32 运行时、用 Metal 实现 Direct3D 11,在 M1 上以 51–60 fps 运行战役、僵尸和多人模式。作者还记录了 13 个从画面症状到根因再到修复的调试发现,并说明为何不走 Wine/CrossOver 路线。
Fursoy Slice-1 是一个从零开始用 SystemVerilog 编写的 64 位乱序超标量 RISC-V 处理器,具备 Sv39 虚拟内存、M/S/U 特权级分离、非阻塞 L1 缓存与硬件 PTW,在 Verilator 中成功启动主线 Linux 6.6.50 和 BusyBox 用户空间,并给出逐周期的 8 类 CPI 分解遥测(IPC 0.848)。作者还基于 Nangate 45nm 标准单元对 8 个核心模块做了 500 MHz 综合与 STA 收敛评估。
Simon Willison 用 Claude 辅助,把同一个 parse_number() 函数(把 -$1,234.56、'12.5%' 这类字符串转成可求和、可排序的数值)分别用 C 和 Rust 写成四个 SQLite 扩展,并对比性能、代码复杂度和产物体积。优化后的 C 版本每行 16–19 ns,约为 Rust 版本的两倍快,远快于 SQL replace();C 扩展仅 14 KB,Rust 版本为 298–321 KB。普通 C 版本因依赖 strtod() 在小数上偏慢,改用 Clinger 快速路径后追平,所有版本在 800 万次模糊测试中结果一致。

Latent Space Podcast76

Latent Space Podcast72

Latent Space Podcast72

Latent Space Podcast72
论文、原理、架构 · 值得收藏:这是一手实操课程,把推理模型的评测、推理时扩展、RL 和蒸馏都落实到可运行的代码上,适合想真正搞懂原理而不是只读结论的工程师长期参考。
新项目早期发现 · 值得收藏:把复杂架构压缩成可逐行阅读的单文件实现,并给出一手训练日志、消融实验和完整复现步骤,适合用来真正读懂 DeepSeek-V3 的组件细节。
工程访谈 · 值得收藏:对做开发者工具和 MCP server 的人,这里有一套可复用的「让 Agent 选你」的具体做法和反滥用工程经验,过一段时间仍然适用。
新用法、实测、工具发现 · 值得收藏:一个完整的一手实测案例,展示了如何把论文方法落地成可运行系统,以及用 AI 编码助手边跑边改、热更新多设备客户端的工程做法,对做 Agent 和工具类项目的人有参考价值。
工程访谈 · 值得收藏:同时呈现一线教学大纲和真实工程团队的取舍,对思考 AI 原生开发该教什么、团队该买还是该建有长期参考价值。
工程访谈 · 值得收藏:对做 AI 工程和带团队的人,它提供了一套可借鉴的课程设计与团队落地思路:如何训练人读懂 diff、如何让仓库对 agent 友好、代码审查成为瓶颈后怎么办。
Agent 评测与可靠性 · 值得收藏:给出决策模型用于自动评测的阈值调优方法和多模型实测对比,对搭建评测流水线的团队有可复用的参考价值。
模型与研究进展解读 · 值得收藏:对理解开源模型经济的商业逻辑、监管风险与人才格局有一手判断,适合关注开源生态长期走向的读者收藏参考。
新用法、实测、工具发现 · 值得收藏:一个成本很低、可直接照搬的 PR 写作习惯,解决的是 AI 编码 Agent 普及后普遍出现的评审负担问题。
工程访谈 · 值得收藏:这是一份来自一线团队的经验记录,讲的是用 Agent 重写大型桌面软件的路径、数据与分工边界,对做 AI 编码和 Agent 工程的人有可复用的参考价值。
工程访谈 · 值得收藏:提供了一套可复用的“速度 vs 冗长度”实测方法(同时看均值、中位数和端到端时延),但样本仅 30 题且未评答案正确率,结论需谨慎参考。
新项目早期发现 · 值得收藏:对想在整个代码库强制完整类型标注的 Python 团队,这是一个可直接试用的工具,附带清晰的规则编号、两种检查模式和可复现的性能基准。