vllm-omni
攤 No.531全模态模型高效推理框架
SKILL SCORE
77/ 100—(7日)
30D · STARS
安装
INSTALL$git clone https://github.com/vllm-project/vllm-omni.git拉源码本地跑,README 有完整安装说明
AI 速读
TL;DR这是什么
- 面向全模态模型的高效推理框架
- 支持多种模态统一推理加速
- 适合部署多模态大模型服务
适合谁
做目标检测、图像分割与多模态理解的算法工程师
上手门槛
中高 —— 需要 PyTorch 与深度学习基础,部分任务需 GPU
由 AI 生成 · 数据截至 2026-07-29 · 方法论 v2.3
星标增长
STARS GROWTH站内指标 · ON-SITE 30D
页面浏览0
收藏0
安装复制0
摊前留言
COMMENTS · 0还没有留言 · 登录后可发第一条
S·95ollama本地一键跑开源大模型,最流行的本地 LLM 运行器★177.1k—7日 +536★部署推理S·94transformers最主流预训练模型库,一行代码加载数十万个模型★163.1k—7日 +263★部署推理S·93llama.cpp纯 C/C++ 高效推理 LLaMA,CPU 也能跑★121.9k—7日 +704★部署推理S·91vllm高吞吐低延迟大模型推理引擎,PagedAttention★87.5k—7日 +681★部署推理S·89litellm一套 OpenAI 格式调 100+ LLM API:代理网关+计费+负载均衡★54.9k—7日 +671★部署推理S·89headroom把工具输出/日志/RAG 块先压缩再喂给 LLM,省 20-95% token★63.0k—7日 +1946★部署推理
