基准测试的商业意义
文章探讨了评估（eval）在衡量模型性能中的基本作用，以及建立统一基准对于公平比较不同模型的重要性。作者指出，虽然构建良好的基准测试很难，但它是确保竞争公平的关键。
Ian’s Blog
Ian 的博客。
文章
永远都是学习率的问题
文章探讨了在大语言模型预训练中，学习率调整往往比单纯增加算力或数据规模更能显著影响最终效果。作者引用 Lilian Weng 关于缩放定律的观点，强调工程细节中的超参数调优常被忽视。 这反映了当前 AI 训练中对“Scaling Laws”的过度依赖与实际操作中学习率策略关键性之间的反差。
现在的LLM架构变得错综复杂
作者回顾Meta在2022-2023年间的机器学习架构差异：Llama背后的Transformer堆栈清晰整洁，而推荐系统图则复杂恐怖。如今行业现状反转，LLM架构变得日益复杂，不再像早期那样纯粹和简单。文章暗示大模型工程正在走向类似传统推荐系统的复杂性路径。
FactWorld：当智能体不再只是“知道”事情
文章指出早期大模型开发主要关注让模型“记住”知识，但真正的智能体需要结合多种知识类型。作者认为许多知识仍编码在权重中，但智能体还需要其他形式的知识处理能力，这反映了从单纯检索到综合推理的技术演进思考。
关于知识蒸馏的更多思考
文章探讨了大语言模型能力如何从训练数据中涌现的问题。虽然大家公认需要大量数据和算力，但对于数据的具体形态和来源存在分歧。作者引用了微软AI近期发布的深入技术报告，进一步讨论了知识蒸馏在其中的作用。
我们可以为你批量蒸馏
文章讨论了前沿模型蒸馏带来的行业动荡。指出Anthropic和OpenAI在智能体编程领域拥有显著优势，部分原因得益于其拥有的高质量数据。作者认为这种数据优势正在被其他实验室通过蒸馏技术获取，从而缩小差距。这引发了关于模型能力边界和数据垄断的讨论。
也许AI代理不该负责编写操作系统内核
文章探讨了一个激进的想法：让大模型去写操作系统内核这种对性能和正确性要求极高的底层代码。作者引用了斯坦福的KernelBench基准测试，指出虽然Chatbot有时能写对，但风险极大。核心观点是，对于关键基础设施，AI代理不应直接生成内核代码，而应作为辅助工具或审查者。这引发了关于AI在系统编程中边界和可靠性的讨论，适合对底层系统和AI能力感兴趣的工程师阅…
elusive的异步GPU内核秩序：调度、抽象与DSL启示
文章深入探讨了异步GPU内核调度的复杂性，从SIMT模型的静态、时间（流水线）和空间（Warp专用化）三种调度方式入手，分析了Nvidia不同架构（如Ampere到Blackwell）带来的挑战。作者指出，虽然CUTLASS等库封装了常见模式，但显式调度增加了移植负担。文章重点讨论了AsyncGraphene、TAWA、TileIR等抽象层如何通过数据流图…
损失爆炸：FAIR OPT-175B 预训练过程中的痛苦复盘
文章通过回顾 FAIR 在 2021 年预训练 OPT-175B 模型时的日志，展示了机器学习研究中极具代表性的一段痛苦经历。作者详细记录了团队在调整学习率、权重衰减和梯度裁剪等超参数时，损失函数（Loss）如何剧烈爆炸又反复震荡的过程。这不仅是一篇技术复盘，更揭示了大型模型训练中隐藏的高风险与不确定性，对于从事 AI 研究的工程师和科学家来说，具有极高的…
工作的解绑：从紧密协作到独立交付
作者通过与基础设施团队和机器学习建模团队的协作经历，探讨了工作模式解绑的趋势。传统上两个团队紧密合作共同交付实验，但现在这种模式正在发生变化。文章分析了这种组织结构调整背后的原因和影响，适合对工程管理和团队协作感兴趣的读者。
PyTorch 中的原生 DSL 算子操作
FlashAttention 4 在 PyTorch 中支持速度极快，关键在于引入了 Simon Layton 开发的 torch.native 基础设施。与之前使用 Cutlass/C++ 编写内核不同，FA4 团队采用 CuteDSL 实现内核。这一转变展示了原生领域特定语言在加速深度学习算子开发和集成方面的优势，为后续类似工作提供了新的工程范式。
编程的闭环：当AI成为独立代理后，程序员该做什么？
文章探讨了随着AI从智能补全工具演变为独立代理（如Claude Code），程序员角色的变化。作者认为，当AI具备足够能力时，程序员的职责将从编写代码转向引导、审查和架构设计，即进入一个“编程循环”。这引发了关于未来开发者核心技能和工作流的思考。