部署推理

部署推理(国外)分类当前收录 187 个开源模型与基建项目,按 S-Score 排名靠前的有 ollama(S·95)、transformers(S·94)、llama.cpp(S·93)。S-Score 基于 GitHub 星标量级与维护活跃度算法计算,每小时重排、付费不影响排名,数据每日快照。本分类属于「模型 · 基建」板块,不进入 Skill 主榜,总览见 模型看板。

#SKILL · 摊位S-SCORESTARS ★ 7D趋势

1ollama本地一键跑开源大模型,最流行的本地 LLM 运行器S·95—★ 181.0k+543☆

2transformers最主流预训练模型库,一行代码加载数十万个模型S·94—★ 166.0k+1016☆

3llama.cpp纯 C/C++ 高效推理 LLaMA,CPU 也能跑S·93—★ 128.2k+812☆

4vllm高吞吐低延迟大模型推理引擎,PagedAttentionS·91—★ 91.8k+571☆

5headroom把工具输出/日志/RAG 块先压缩再喂给 LLM,省 20-95% tokenS·90—★ 72.2k+2022☆

6OmniRoute免费AI网关，一个入口对接231+模型商S·90—★ 66.2k+3677☆

AD◧广告位招商中 —— 你的产品出现在这里自助投放 · 周结算 · 广告内容与榜单排序无关了解 →广告 AD

7litellm一套 OpenAI 格式调 100+ LLM API:代理网关+计费+负载均衡S·89—★ 58.7k+503☆

8LocalAI本地自托管的 OpenAI 兼容 API,一行替换云端S·88—★ 49.1k+146☆

9llmfit一条命令,找到你硬件能跑的大模型S·87—★ 36.6k+1522☆

10sglang高性能大模型服务框架,支持结构化生成S·87—★ 36.0k+356☆

11textgen本地大模型的网页界面,插件生态丰富S·87—★ 47.7k+37☆

12langfuse开源LLM工程平台,评测可观测性一体S·86—★ 34.6k+299☆

13gpt4all任意设备本地跑 LLM,开源可商用S·86—★ 77.4k+7☆

14airllm单张 4GB 显卡推理 70B 大模型S·86—★ 34.3k+506☆

159router免费 AI 编码模型路由,连接 40+ 提供商S·85—★ 28.8k+1077☆

16mlflow开源 AI 工程平台:Agent/LLM/ML 全生命周期S·85—★ 28.0k+104☆

17promptfoo提示词与Agent测试评估,支持AI红队测试S·85—★ 25.1k+190☆

18opikLLM 应用调试评测监控,全链路追踪S·84—★ 22.0k+164☆

19mlc-llm通用大模型部署引擎,基于机器编译优化推理S·83—★ 23.2k+16☆

20ggml高效机器学习张量计算库,支撑本地大模型推理S·82—★ 15.4k+50☆

21OpenLLM把开源 LLM 一键跑成 OpenAI 兼容 APIS·81—★ 12.5k+1☆

22bisheng毕昇:企业级 LLM DevOps 开放平台S·81—★ 12.0k+32☆

23phoenixAI可观测与评测平台,追踪LLM应用表现S·81—★ 11.5k+97☆

24openvino英特尔 OpenVINO:AI 推理优化部署工具箱S·80—★ 10.9k+40☆

25metaflowNetflix开源的AI/ML系统构建部署平台S·80—★ 10.3k+7☆

26runanywhere-sdks本地跑 AI 的生产级工具箱S·80—★ 10.3k☆

27bifrost高性能企业级AI网关,统一接入千余模型S·79—★ 8.1k+205☆

28gateway极速 AI 网关:1600+ LLM 路由 + 50+ 护栏S·79—★ 13.0k+68☆

29evidently开源ML/LLM可观测性框架，百余项评估指标S·79—★ 7.9k+17☆

30flyte动态韧性 AI 编排:数据/模型/算力协同S·79—★ 7.5k+69☆

31rigRust 构建模块化可扩展 LLM 应用S·79—★ 8.6k+79☆

32dynamo数据中心级分布式推理服务框架S·79—★ 8.1k+86☆

33serve云原生多模态 AI 应用框架S·79—★ 21.9k☆

34ODS把电脑变成AI服务器，推理聊天RAG一体S·78—★ 6.5k+261☆

35PowerInfer面向本地部署的高速大模型推理引擎S·78—★ 9.8k+11☆

36helicone一行代码接入的开源LLM可观测性平台S·78—★ 6.2k+22☆

37flashinfer面向大模型推理的高性能内核加速库S·78—★ 6.4k+64☆

38vllm-omni全模态模型高效推理框架S·78—★ 6.8k+92☆

39BentoML最易用的 AI 服务框架:推理 API/队列/多模型管线S·78▼1★ 8.8k+16☆

40clearmlAI 工作流自动化:实验/数据/管线管理S·78—★ 6.9k+5☆

41stable-diffusion.cpp纯 C/C++ 跑扩散模型(SD/Flux/Wan/Qwen)S·78—★ 7.0k+50☆

42planoAgent 应用的 AI 原生代理与数据面S·77—★ 7.1k+9☆

43mlx-vlmMac 上用 MLX 推理/微调视觉语言模型S·77—★ 5.5k+22☆

44coze-loop新一代AI智能体全生命周期优化平台S·77—★ 5.7k+15☆

45giskard-oss开源LLM Agent评估测试库S·77—★ 5.8k+9☆

46RagaAI-CatalystAgent AI 可观测性与评测 SDKS·77—★ 16.2k+1☆

47gpustackGPU集群管理平台,支持模型服务与按需实例S·77—★ 5.7k+70☆

48ragasLLM 应用评测加速器(RAG 评测标准库)S·77—★ 15.7k+75☆

49lemonade调用本机GPU/NPU运行优化大模型S·77—★ 5.7k+55☆

50zenml一体化AI平台，覆盖流水线到Agent全流程S·77—★ 5.6k+4☆

51semantic-router混合模型智能路由,异构 LLM 高效推理S·77—★ 5.8k+153☆

52kserve面向Kubernetes的标准化AI推理平台S·77—★ 5.9k+44☆

53cactus面向移动端与穿戴设备的低延迟AI引擎S·77—★ 6.0k+24☆

54openllmetry基于 OpenTelemetry 的 GenAI 可观测性S·77—★ 7.4k+14☆

55openevolveAlphaEvolve的开源实现，LLM驱动代码进化S·76—★ 7.4k+38☆

56langwatch面向LLM效果评估与Agent测试的平台S·76—★ 4.8k+1261☆

57agenta开源LLMOps一体化平台S·76—★ 4.8k+24☆

58mcp-context-forge统一网关代理MCP/A2A/REST等接口S·76—★ 4.5k+37☆

59lmms-eval覆盖文本图像视频音频的多模态统一评测工具S·76—★ 4.4k+7☆

60agent-starter-pack快速将AI Agent部署到Google Cloud的模板集S·76—★ 6.6k+3☆

展示前 60 名 · 完整榜单见 每日热榜 →