开源热榜

用 C/C++ 实现的 LLM 推理引擎，可在本地和各种硬件上高效运行大语言模型。

LLM inference in C/C++