一个用 Zig 编写的 LLM 推理引擎，支持 Metal、CUDA 和 Vulkan 后端。
LLM Inference Engine for Metal, CUDA and Vulkan.
AI 模型#推理引擎#跨平台Zig★ 1,864⑂ 390+58 今日
开源热榜
同步 GitHub Trending，每个项目附一句中文介绍、大类和主题标签。
7A 13G 
用 C/C++ 实现的 LLM 推理引擎，可在本地和各种硬件上高效运行大语言模型。
LLM inference in C/C++
AI 模型#本地推理#C++C++★ 134,337⑂ 25,479+162 今日