部署推理

部署推理分类当前收录 187 个开源模型与基建项目,按 S-Score 排名靠前的有 ollama(S·95)、transformers(S·94)、llama.cpp(S·93)。S-Score 基于 GitHub 星标量级与维护活跃度算法计算,每小时重排、付费不影响排名,数据每日快照。本分类属于「模型 · 基建」板块,不进入 Skill 主榜,总览见 模型看板。

#SKILL · 摊位S-SCORESTARS ★ 7D趋势

1ollama本地一键跑开源大模型,最流行的本地 LLM 运行器S·95—★ 177.1k+536☆

2transformers最主流预训练模型库,一行代码加载数十万个模型S·94—★ 163.1k+263☆

3llama.cpp纯 C/C++ 高效推理 LLaMA,CPU 也能跑S·93—★ 121.9k+704☆

4vllm高吞吐低延迟大模型推理引擎,PagedAttentionS·91—★ 87.5k+681☆

5litellm一套 OpenAI 格式调 100+ LLM API:代理网关+计费+负载均衡S·89—★ 54.9k+671☆

6headroom把工具输出/日志/RAG 块先压缩再喂给 LLM,省 20-95% tokenS·89—★ 63.0k+1946☆

AD◧广告位招商中 —— 你的产品出现在这里自助投放 · 周结算 · 广告内容与榜单排序无关了解 →广告 AD

7LocalAI本地自托管的 OpenAI 兼容 API,一行替换云端S·88—★ 48.0k+233☆

8sglang高性能大模型服务框架,支持结构化生成S·86—★ 30.9k+283☆

9OmniRoute免费AI网关，一个入口对接231+模型商S·86—★ 33.2k+9535☆

10langfuse开源LLM工程平台,评测可观测性一体S·86—★ 32.0k+442☆

11textgen本地大模型的网页界面,插件生态丰富S·86—★ 47.5k+30☆

12gpt4all任意设备本地跑 LLM,开源可商用S·86—★ 77.4k+1☆

13llmfit一条命令,找到你硬件能跑的大模型S·86—★ 30.9k+674☆

14mlflow开源 AI 工程平台:Agent/LLM/ML 全生命周期S·85—★ 27.3k+104☆

15airllm单张 4GB 显卡推理 70B 大模型S·85—★ 24.2k+332☆

16opikLLM 应用调试评测监控,全链路追踪S·84—★ 20.9k+185☆

179router免费 AI 编码模型路由,连接 40+ 提供商S·84▲1★ 24.0k+977☆

18promptfoo提示词与Agent测试评估,支持AI红队测试S·84—★ 23.7k+238☆

19mlc-llm通用大模型部署引擎,基于机器编译优化推理S·84—★ 23.0k+32☆

20one-api一站式大模型API网关，统一分发与计费S·82—★ 36.0k+155☆

21bisheng毕昇:企业级 LLM DevOps 开放平台S·81—★ 11.8k+57☆

22OpenLLM把开源 LLM 一键跑成 OpenAI 兼容 APIS·81—★ 12.4k+31☆

23ggml高效机器学习张量计算库,支撑本地大模型推理S·81—★ 15.1k+37☆

24runanywhere-sdks本地跑 AI 的生产级工具箱S·80—★ 10.3k☆

25ragasLLM 应用评测加速器(RAG 评测标准库)S·80—★ 15.0k+79☆

26RagaAI-CatalystAgent AI 可观测性与评测 SDKS·80—★ 16.1k☆

27metaflowNetflix开源的AI/ML系统构建部署平台S·80—★ 10.2k+12☆

28openvino英特尔 OpenVINO:AI 推理优化部署工具箱S·80—★ 10.6k+26☆

29phoenixAI可观测与评测平台,追踪LLM应用表现S·80—★ 10.8k+125☆

30gateway极速 AI 网关:1600+ LLM 路由 + 50+ 护栏S·79—★ 12.6k+86☆

31serve云原生多模态 AI 应用框架S·79—★ 21.9k+1☆

32rigRust 构建模块化可扩展 LLM 应用S·79—★ 8.1k+78☆

33dynamo数据中心级分布式推理服务框架S·79—★ 7.6k+62☆

34lmdeployLLM 压缩部署服务工具箱(InternLM 团队)S·79—★ 8.0k+11☆

35clearmlAI 工作流自动化:实验/数据/管线管理S·78—★ 6.8k+10☆

36planoAgent 应用的 AI 原生代理与数据面S·78—★ 6.9k+22☆

37stable-diffusion.cpp纯 C/C++ 跑扩散模型(SD/Flux/Wan/Qwen)S·78—★ 6.6k+41☆

38BentoML最易用的 AI 服务框架:推理 API/队列/多模型管线S·78—★ 8.7k+12☆

39PowerInfer面向本地部署的高速大模型推理引擎S·78—★ 9.7k+11☆

40bifrost高性能企业级AI网关,统一接入千余模型S·78—★ 6.9k+185☆

41flyte动态韧性 AI 编排:数据/模型/算力协同S·78—★ 7.2k+17☆

42openevolveAlphaEvolve的开源实现，LLM驱动代码进化S·77—★ 6.8k+47☆

43openllmetry基于 OpenTelemetry 的 GenAI 可观测性S·77—★ 7.3k+22☆

44gpustackGPU集群管理平台,支持模型服务与按需实例S·77—★ 5.4k+39☆

45flashinfer面向大模型推理的高性能内核加速库S·77—★ 6.1k+61☆

46Awesome-LLM-InferenceLLM/VLM推理加速论文与代码精选清单S·77—★ 5.4k+20☆

47evidently开源ML/LLM可观测性框架，百余项评估指标S·77—★ 7.8k+35☆

48mlx-vlmMac 上用 MLX 推理/微调视觉语言模型S·77—★ 5.3k+40☆

49coze-loop新一代AI智能体全生命周期优化平台S·77—★ 5.7k+24☆

50helicone一行代码接入的开源LLM可观测性平台S·77—★ 6.0k+33☆

51giskard-oss开源LLM Agent评估测试库S·77—★ 5.7k+34☆

52shimmy纯Rust WebGPU推理引擎，单文件运行S·77—★ 5.7k+41☆

53cactus面向移动端与穿戴设备的低延迟AI引擎S·77—★ 5.5k+17☆

54vllm-omni全模态模型高效推理框架S·77—★ 5.7k+77☆

55agent-starter-pack快速将AI Agent部署到Google Cloud的模板集S·77▼1★ 6.5k+11☆

56kserve面向Kubernetes的标准化AI推理平台S·77—★ 5.7k+23☆

57lemonade调用本机GPU/NPU运行优化大模型S·77—★ 5.1k+130☆

58zenml一体化AI平台，覆盖流水线到Agent全流程S·77—★ 5.5k+30☆

59semantic-router混合模型智能路由,异构 LLM 高效推理S·77—★ 5.1k+68☆

60agenta开源LLMOps一体化平台S·76—★ 4.4k+44☆

展示前 60 名 · 完整榜单见 每日热榜 →