部署推理

部署推理(国外)分类当前收录 187 个开源模型与基建项目,按 S-Score 排名靠前的有 ollama(S·95)、transformers(S·94)、llama.cpp(S·93)。S-Score 基于 GitHub 星标量级与维护活跃度算法计算,每小时重排、付费不影响排名,数据每日快照。本分类属于「模型 · 基建」板块,不进入 Skill 主榜,总览见 模型看板。

#SKILL · 摊位S-SCORESTARS ★ 7D趋势

1ollama本地一键跑开源大模型,最流行的本地 LLM 运行器S·95—★ 185.3k+917☆

2transformers最主流预训练模型库,一行代码加载数十万个模型S·94—★ 168.3k+330☆

3llama.cpp纯 C/C++ 高效推理 LLaMA,CPU 也能跑S·93—★ 132.8k+722☆

4vllm高吞吐低延迟大模型推理引擎,PagedAttentionS·92—★ 95.9k+711☆

5OmniRoute免费AI网关，一个入口对接231+模型商S·91—★ 82.6k+2689☆

6headroom把工具输出/日志/RAG 块先压缩再喂给 LLM,省 20-95% tokenS·91—★ 78.3k+710☆

AD◧广告位招商中 —— 你的产品出现在这里自助投放 · 周结算 · 广告内容与榜单排序无关了解 →广告 AD

7litellm一套 OpenAI 格式调 100+ LLM API:代理网关+计费+负载均衡S·89—★ 62.3k+490☆

8LocalAI本地自托管的 OpenAI 兼容 API,一行替换云端S·88—★ 50.1k+207☆

9langfuse开源LLM工程平台,评测可观测性一体S·87—★ 36.7k+521☆

10airllm单张 4GB 显卡推理 70B 大模型S·87—★ 41.3k+902☆

11llmfit一条命令,找到你硬件能跑的大模型S·87—★ 38.5k+207☆

12sglang高性能大模型服务框架,支持结构化生成S·87—★ 38.4k+735☆

13gpt4all任意设备本地跑 LLM,开源可商用S·86—★ 77.3k☆

14textgen本地大模型的网页界面,插件生态丰富S·86—★ 47.7k+6☆

159router免费 AI 编码模型路由,连接 40+ 提供商S·86—★ 31.7k+419☆

16promptfoo提示词与Agent测试评估,支持AI红队测试S·85—★ 26.6k+299☆

17mlflow开源 AI 工程平台:Agent/LLM/ML 全生命周期S·85—★ 28.6k+87☆

18mlc-llm通用大模型部署引擎,基于机器编译优化推理S·84—★ 23.3k+21☆

19opikLLM 应用调试评测监控,全链路追踪S·84—★ 23.0k+183☆

20ggml高效机器学习张量计算库,支撑本地大模型推理S·82—★ 15.6k+41☆

21OpenLLM把开源 LLM 一键跑成 OpenAI 兼容 APIS·81—★ 12.6k+13☆

22openvino英特尔 OpenVINO:AI 推理优化部署工具箱S·81—★ 11.1k+45☆

23bisheng毕昇:企业级 LLM DevOps 开放平台S·81—★ 12.1k+24☆

24phoenixAI可观测与评测平台,追踪LLM应用表现S·81—★ 12.1k+110☆

25metaflowNetflix开源的AI/ML系统构建部署平台S·80—★ 10.3k+16☆

26rigRust 构建模块化可扩展 LLM 应用S·80—★ 9.0k+75☆

27bifrost高性能企业级AI网关,统一接入千余模型S·80—★ 9.2k+181☆

28runanywhere-sdks本地跑 AI 的生产级工具箱S·80—★ 10.3k+1☆

29gateway极速 AI 网关:1600+ LLM 路由 + 50+ 护栏S·79—★ 13.3k+37☆

30ODS把电脑变成AI服务器，推理聊天RAG一体S·79—★ 7.7k+59☆

31dynamo数据中心级分布式推理服务框架S·79—★ 8.4k+45☆

32serve云原生多模态 AI 应用框架S·79—★ 21.9k☆

33openevolveAlphaEvolve的开源实现，LLM驱动代码进化S·79—★ 7.7k+49☆

34vllm-omni全模态模型高效推理框架S·79▲1★ 7.4k+104☆

35flyte动态韧性 AI 编排:数据/模型/算力协同S·79—★ 7.8k+77☆

36BentoML最易用的 AI 服务框架:推理 API/队列/多模型管线S·79—★ 8.9k+10☆

37stable-diffusion.cpp纯 C/C++ 跑扩散模型(SD/Flux/Wan/Qwen)S·79—★ 7.8k+68☆

38flashinfer面向大模型推理的高性能内核加速库S·78—★ 6.8k+69☆

39openllmetry基于 OpenTelemetry 的 GenAI 可观测性S·78—★ 7.5k+12☆

40helicone一行代码接入的开源LLM可观测性平台S·78—★ 6.2k+13☆

41RagaAI-CatalystAgent AI 可观测性与评测 SDKS·78—★ 16.2k+4☆

42PowerInfer面向本地部署的高速大模型推理引擎S·78—★ 9.9k+8☆

43planoAgent 应用的 AI 原生代理与数据面S·78—★ 7.1k+1☆

44kserve面向Kubernetes的标准化AI推理平台S·78—★ 6.2k+26☆

45clearmlAI 工作流自动化:实验/数据/管线管理S·78—★ 6.9k+10☆

46semantic-router混合模型智能路由,异构 LLM 高效推理S·78—★ 6.3k+83☆

47ragasLLM 应用评测加速器(RAG 评测标准库)S·78—★ 16.2k+54☆

48lemonade调用本机GPU/NPU运行优化大模型S·77—★ 6.0k+51☆

49gpustackGPU集群管理平台,支持模型服务与按需实例S·77—★ 5.9k+53☆

50GPTCache为LLM请求提供语义级缓存S·77—★ 8.2k+4☆

51evidently开源ML/LLM可观测性框架，百余项评估指标S·77▼1★ 8.0k+23☆

52shimmy纯Rust WebGPU推理引擎，单文件运行S·77▲1★ 6.0k+11☆

53giskard-oss开源LLM Agent评估测试库S·77—★ 5.9k+18☆

54zenml一体化AI平台，覆盖流水线到Agent全流程S·77—★ 5.6k+5☆

55mlx-vlmMac 上用 MLX 推理/微调视觉语言模型S·77—★ 5.7k+47☆

56coze-loop新一代AI智能体全生命周期优化平台S·77—★ 5.8k+9☆

57Awesome-LLM-InferenceLLM/VLM推理加速论文与代码精选清单S·76—★ 5.5k+5☆

58langwatch面向LLM效果评估与Agent测试的平台S·76—★ 5.0k+11☆

59cactus面向移动端与穿戴设备的低延迟AI引擎S·76—★ 6.2k+17☆

60archestra企业级AI平台，内置护栏、MCP注册中心与网关S·76—★ 4.4k+27☆

展示前 60 名 · 完整榜单见 每日热榜 →