
理解现代 LLM 中的位置嵌入:从 GPT-2 到 RoPE 与 2026 年架构
Ahead of AI · 论文、原理、架构 ·
- 因果掩码本身提供隐式顺序信息,但无法区分位置间隔大小
- GPT-2 将可学习位置向量加到 token 嵌入上,RoPE 则在注意力内部注
- 文章附小型 PyTorch 实现,并汇总 2026 开源模型的位置编码选择
为什么值得看:把位置编码这一常被跳过的基础构件讲透,附实现与现代架构对照,适合作为长期查阅的原理参考。
海外 AI 文章、播客与资讯,挑值得以后回头再读的,附中文要点和推荐理由。

Ahead of AI · 论文、原理、架构 ·
为什么值得看:把位置编码这一常被跳过的基础构件讲透,附实现与现代架构对照,适合作为长期查阅的原理参考。

一个非官方粉丝项目用 Remill 把《黑色行动2》三个 x86 可执行文件的约 15 万个函数提前提升为 LLVM IR,再经自研 pass 优化后编译成 ARM64 原生代码,并手写 Win32 运行时、用 Metal 实现 Direct3D 11,在 M1 上以 51–60 fps 运行战役、僵尸和多人模式。作者还记录了 13 个从画面症状到根因再到修复的调试发现,并说明为何不走 Wine/CrossOver 路线。

Latent Space 与 AI 数据公司 Handshake AI 的联合深度访谈:其 AI 训练业务约一年内做到 10 亿美元年化毛收入。节目分金融、生命科学、编码与安全四段现场演示:ATLAS-Finance 模拟投行任务中,agent 把客户邮件里的 goodwill 数字直接搬进 Python 相减而出错;VIALS 基准用凝胶电泳和脑组织切片考模型识图;安全段则追踪 agent 的工具调用与文件访问。团队还讲了前沿实验室如何采购与评估数据集、rubric 与专家判断的差距,以及评分器的惩罚陷阱与部分给分设计。
Fursoy Slice-1 是一个从零开始用 SystemVerilog 编写的 64 位乱序超标量 RISC-V 处理器,具备 Sv39 虚拟内存、M/S/U 特权级分离、非阻塞 L1 缓存与硬件 PTW,在 Verilator 中成功启动主线 Linux 6.6.50 和 BusyBox 用户空间,并给出逐周期的 8 类 CPI 分解遥测(IPC 0.848)。作者还基于 Nangate 45nm 标准单元对 8 个核心模块做了 500 MHz 综合与 STA 收敛评估。

Latent Space Podcast76

Latent Space Podcast72

Latent Space Podcast72

Latent Space Podcast72

Latent Space Podcast72
论文、原理、架构 · 值得收藏:这是一手实操课程,把推理模型的评测、推理时扩展、RL 和蒸馏都落实到可运行的代码上,适合想真正搞懂原理而不是只读结论的工程师长期参考。
新用法、实测、工具发现 · 值得收藏:一次完整的一手实测:从提示词、基准数据到产物体积都有记录,可作为评估“C 扩展 vs Rust 扩展”以及用 LLM 做性能优化的参考样本。
新项目早期发现 · 值得收藏:把复杂架构压缩成可逐行阅读的单文件实现,并给出一手训练日志、消融实验和完整复现步骤,适合用来真正读懂 DeepSeek-V3 的组件细节。
工程访谈 · 值得收藏:对做开发者工具和 MCP server 的人,这里有一套可复用的「让 Agent 选你」的具体做法和反滥用工程经验,过一段时间仍然适用。
新用法、实测、工具发现 · 值得收藏:一个完整的一手实测案例,展示了如何把论文方法落地成可运行系统,以及用 AI 编码助手边跑边改、热更新多设备客户端的工程做法,对做 Agent 和工具类项目的人有参考价值。
工程访谈 · 值得收藏:同时呈现一线教学大纲和真实工程团队的取舍,对思考 AI 原生开发该教什么、团队该买还是该建有长期参考价值。
工程访谈 · 值得收藏:对做 AI 工程和带团队的人,它提供了一套可借鉴的课程设计与团队落地思路:如何训练人读懂 diff、如何让仓库对 agent 友好、代码审查成为瓶颈后怎么办。
模型与研究进展解读 · 值得收藏:对做模型评测和选型的人,这篇提供了关于基准设计取舍、开源与闭源差距成因的长期可参考判断。
Agent 评测与可靠性 · 值得收藏:给出决策模型用于自动评测的阈值调优方法和多模型实测对比,对搭建评测流水线的团队有可复用的参考价值。
模型与研究进展解读 · 值得收藏:对开源权重模型竞争格局、许可证限制与实验室组织方式的判断,过一段时间仍可作为参考框架。
模型与研究进展解读 · 值得收藏:对理解开源模型经济的商业逻辑、监管风险与人才格局有一手判断,适合关注开源生态长期走向的读者收藏参考。
新用法、实测、工具发现 · 值得收藏:一个成本很低、可直接照搬的 PR 写作习惯,解决的是 AI 编码 Agent 普及后普遍出现的评审负担问题。