本地快速跑起推理模型Ornith-1.5-9B四种部署方式完全指南vLLM/SGLang/llama.cpp/Ollama附命令【免费下载链接】Ornith-1.5-9B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-9B-GGUFOrnith-1.5-9B 是 ornith-ai 开源的 9B 稠密推理模型单张 80GB 显卡即可本地部署原生支持 26 万 token 上下文内置思维链推理与标准工具调用。本文整理 vLLM、SGLang、llama.cpp、Ollama 四种本地部署方式的完整命令、量化版本选择与推荐采样参数帮你快速在本地跑起这个强大的 AI 推理模型。 模型简介Ornith-1.5-9B 凭什么值得本地部署Ornith-1.5-9B 是 Ornith-1.5 家族中最轻量的成员专为单 GPU 高效部署设计核心特点9B 稠密参数bf16 全精度约 19GB一张 80GB 显卡即可完整承载262,144 token 长上下文原生支持配合 YaRN 可扩展到约 100 万 token推理模型回答前会先输出think … /think思维链服务端解析后会单独放入reasoning_content字段标准工具调用tool_call块会被解析为 OpenAI 风格的tool_calls字段直接兼容主流 Agent 框架从官方评测来看它的编码能力相当能打SWE-bench Verified 70.6、GPQA Diamond 86.4、Terminal-Bench 2.1Terminus-246.2多项指标超越参数数倍于它的模型。详细的跑分说明见 README.md 的 Benchmarks 章节。⚡ 部署前必看硬件与环境要求四种方式都会暴露OpenAI 兼容接口/v1/chat/completions部署完成即可被任何 OpenAI SDK 或编码 CLI 直接调用。项目要求GPU 显存bf16 全精度需约 19GB建议单张 80GB 卡GGUF 量化版可显著降低显存门槛Transformers≥ 5.8.1vLLM≥ 0.19.1SGLang≥ 0.5.9 提示本仓库已包含全部 GGUF 量化文件llama.cpp / Ollama 用户可以直接取用无需再找权重。方式一vLLM 部署命令推荐生产环境高吞吐、长上下文场景的首选。一条命令即可启动vllm serve ornith-ai/Ornith-1.5-9B --served-model-name Ornith-1.5-9B --host 0.0.0.0 --port 8000 --max-model-len 262144 --gpu-memory-utilization 0.90 --enable-prefix-caching --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 --trust-remote-code关键参数速览参数作用--max-model-len 262144放开完整 26 万上下文--gpu-memory-utilization 0.90显存占用率 90%兼顾吞吐与稳定--enable-prefix-caching前缀缓存多轮对话加速明显--tool-call-parser qwen3_xml解析工具调用为tool_calls--reasoning-parser qwen3将思维链分离到reasoning_content需要多卡分摊时追加--tensor-parallel-size N即可。方式二SGLang 快速部署步骤SGLang 在长上下文与推理类负载上表现优秀命令如下python -m sglang.launch_server --model-path ornith-ai/Ornith-1.5-9B --served-model-name Ornith-1.5-9B --host 0.0.0.0 --port 8000 --context-length 262144 --mem-fraction-static 0.85 --tool-call-parser qwen3_coder --reasoning-parser qwen3--context-length 262144与 vLLM 对齐用满原生上下文--mem-fraction-static 0.85静态显存占比留足 KV cache 余量工具/思维链解析器与 vLLM 方案功能等价客户端代码无需任何改动方式三llama.cpp 加载 GGUF 量化模型显存友好显存有限或想用消费级显卡选它。本仓库提供了完整的量化矩阵文件特点Ornith-1.5-9B-Q4_K_M.gguf体积最小低显存首选精度损失小Ornith-1.5-9B-Q5_K_M.gguf显存与精度的平衡点Ornith-1.5-9B-Q6_K.gguf精度更高一档Ornith-1.5-9B-Q8_0.gguf接近全精度显存占用约为 BF16 的六成Ornith-1.5-9B-BF16.ggufbf16 全精度约 19GB效果基准mmproj-Ornith-1.5-9B-BF16.gguf多模态投影文件配合视觉能力使用先克隆仓库拿到权重git clone https://gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-9B-GGUF cd Ornith-1.5-9B-GGUF用 llama.cpp 启动 OpenAI 兼容服务以 Q4_K_M 为例llama-server -m Ornith-1.5-9B-Q4_K_M.gguf --port 8000 -c 262144-c 262144指定 26 万上下文窗口。想要更省显存把-m换成 Q4_K_M 即可。方式四Ollama 一键运行最简单只想快速体验、不想折腾参数Ollama 一条命令搞定自动下载与管理显存ollama run ornith-1.5:9b进入交互式对话后即可开始提问适合新手验证模型效果。 长上下文进阶YaRN 扩展到 100 万 tokens当输入输出总量超过 26 万 token 时可用YaRNRoPE scalingfactor 4.0把窗口扩到约 1M。vLLM 与 SGLang 均已内置支持启动时覆盖即可VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve ornith-ai/Ornith-1.5-9B ... --hf-overrides {rope_scaling: {rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144}} --max-model-len 1000000SGLang 侧使用等价参数SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN1 python -m sglang.launch_server ... --json-model-override-args {rope_scaling: {rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144}} --context-length 1000000⚠️ 注意开源运行时是静态YaRN所有请求都套用同一缩放系数对普通长度输入可能略有质量损失。仅在确需超长窗口时开启若请求上限约 52 万 token建议factor: 2.0。 采样参数推荐配置通用任务 vs 精确编码官方给出了两组推荐参数直接影响回答质量参数通用任务精确编码任务temperature1.00.6top_p0.950.95top_k2020min_p0.00.0presence_penalty1.50.0repetition_penalty1.01.0写代码、改 bug 时记得把temperature降到 0.6。️ 部署后验证一条请求测试服务服务启动后默认端口 8000用任意 OpenAI 兼容客户端或 curl 验证curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d {model: Ornith-1.5-9B, messages: [{role: user, content: 写一个对数字平方的 Python lambda}], temperature: 0.6, max_tokens: 1024}响应中reasoning_content是思维链、content是最终答案带工具时还会出现标准tool_calls字段。Hermes、OpenCode、Unsloth Studio 等 Agent/编码 CLI 只需把OPENAI_BASE_URL指向http://localhost:8000/v1即可接入。❓ 常见问题四种方式到底怎么选Q1我该选哪种部署方式场景推荐生产服务、高并发vLLM长上下文、推理密集型负载SGLang显存有限、消费级显卡llama.cpp Q4_K_M / Q5_K_M新手快速体验OllamaQ2为什么回答里有一大段思考过程这是推理模型的正常行为。服务端开启reasoning-parser后思维链会单独放在reasoning_content字段不干扰最终答案。Q3显存不够跑 bf16 怎么办换用本仓库的 GGUF 量化版如Ornith-1.5-9B-Q4_K_M.gguf走 llama.cpp 或 Ollama 路线显存占用可降至 bf16 的一半以下。总结Ornith-1.5-9B 用 9B 的参数打出了越级表现而且本地部署门槛很低vLLM / SGLang 一条命令起服务llama.cpp 加 GGUF 量化照顾低显存Ollama 则是零门槛体验。按场景选方式、任务调参数十分钟即可在本地跑起这套强大的推理模型。【免费下载链接】Ornith-1.5-9B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-9B-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考