markusheimerl (GitHub)

Markus Heimerl GitHub 主页,分享项目与代码的开发者。

文章

github.com/markusheimerl

一个迷你可定制的 CUDA 语言模型实现

这是一个真正可运行、可修改的微型 GPT 实现,用 CUDA + BLAS 从零搭建,主打"hackable"——代码量小、结构清晰,适合想深入理解 Transformer 内部机制的人动手改着玩。模型以字节为 token(8-bit),不限于文本,可处理 DNA、图像、音频等任意字节流。架构完整:token embedding、多层 Transforme…