Skip to content
@aicl-lab

aicl-lab

AICL-Lab

面向 AI Infra(推理部署 / 推理加速方向)的工程作品集组织。五个主仓构成一条 「CUDA 基础 → Triton 算子 → kernel 深挖 → 推理运行时 → Serving 控制面」的能力链, 方法论与阅读顺序见 cuda-kernel-academy/LEARNING_PATH.md

项目地图

仓库 定位 状态
tiny-llm ⭐ 旗舰:CUDA C++ 推理引擎(W8A16 量化 / GGUF / KV Cache) 开发中,见其 ROADMAP
cuflash-attn 从零实现的 FlashAttention(前向+反向,多精度) kernel 深度作品
cuda-kernel-academy CUDA 系统学习路径(SGEMM 阶梯 → kernel 库 → 推理组件) 维护模式
triton-fused-ops Triton 融合算子 + 参考实现 + 差分测试 维护模式
paged-infer Rust 版 Serving 控制面(Paged KV + continuous batching) 架构练习作品

工程原则

  • 诚实的性能声明:没有真实硬件测量的数字不写入文档
  • 差分测试:每个优化实现都有独立的参考实现做数值对比
  • 不变量验证:KV Cache 资源守恒、调度状态机等属性测试

Popular repositories Loading

  1. triton-fused-ops triton-fused-ops Public

    面向 Transformer 推理学习的精简 Triton 算子:RMSNorm+RoPE、Gated MLP、FlashAttention

    Python 4

  2. cuda-kernel-academy cuda-kernel-academy Public

    从 SGEMM 到推理组件的系统性 CUDA 学习主仓,整合四条历史实验路径

    C++ 1

  3. paged-infer paged-infer Public

    用于学习 Paged KV、continuous batching 与服务控制面的 Rust 模拟推理系统

    Rust 1

  4. cuflash-attn cuflash-attn Public

    用于学习 FlashAttention 前后向的 CUDA C++ 实现,支持 FP32/FP16/BF16 与 causal mask

    Cuda

  5. tiny-llm tiny-llm Public

    用于学习模型加载、CUDA 算子、KV Cache 与 token 生成的轻量 C++ 推理运行时

    C++

  6. .github .github Public

    AICL-Lab org profile: AI Infra portfolio navigation

Repositories

Showing 7 of 7 repositories

People

This organization has no public members. You must be a member to see who’s a part of this organization.

Top languages

Loading…

Most used topics

Loading…