Bonsai-demo DeepWiki集成让Agent实时理解任意GitHub仓库【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demoBonsai-demo是一个让 Bonsai 27B1-bit / 三值量化大语言模型在你自己的电脑上本地运行的开源演示项目原生支持工具调用、视觉理解与MCP模型上下文协议集成。本文手把手带你启用项目预配置好的DeepWikiMCP 服务两步即可让本地 Agent实时理解任意公开的 GitHub 仓库——无需模型自己读代码。什么是 Bonsai-demo一句话把 27B 参数模型压缩到每个权重约 1.7 bit文件仅 ~7 GB跑在 MacMetal、Linux / WindowsCUDA、Vulkan、ROCm甚至纯 CPU 上并自带视觉输入、工具调用、256k 长上下文三大 Agent 能力。下图展示了 Bonsai 家族的模型大小 vs 平均基准分优势体积更小的 Bonsai得分反而高于同档位的常规模型。 两个 27B 模型家族ternary三值 /bonsai1-bit能力完全相同只差体积与速度默认下载质量更高的 Ternary-Bonsai-27B。模型清单与环境变量见 README.md。第一步一键部署本地Agent聊天服务DeepWiki 能力建立在 27B 的原生工具调用之上先让聊天服务跑起来克隆仓库macOS / Linuxgit clone https://gitcode.com/GitHub_Trending/bo/Bonsai-demo cd Bonsai-demo运行一键安装自动装依赖、下载模型与预编译二进制./setup.shWindows PowerShell 用户改用.\setup.ps1。启动聊天服务器自带 Web 聊天界面自动检测 GPU 并全层卸载./scripts/start_llama_server.sh浏览器打开http://localhost:8080即可对话。 想换模型尺寸或家族只需设置BONSAI_MODEL/BONSAI_FAMILY环境变量如BONSAI_MODEL4B ./setup.sh。全部 24 个变量的完整参考见 environment_variables.md。第二步一键开关启用DeepWiki零配置Bonsai-demo开箱预配置了两个 MCP 服务器Hugging Face Hub 和DeepWiki。DeepWiki 为公开 GitHub 仓库自动生成仓库 Wiki启用后模型可以实时回答任意仓库的架构、模块、运行方式等问题。预配置由启动脚本自动注入无需任何手动配置scripts/webui-config.jsonDeepWiki 与 Hugging Face 的服务器定义默认启用进入按会话选择器scripts/start_llama_server.sh启动时通过--webui-config-file注入上述配置启用步骤在聊天界面消息输入框打开MCP 选择器Settings → MCP Client 也能看到预配置列表打开DeepWiki开关仅对当前会话生效不影响其他对话直接提问例如这个 GitHub 仓库的整体架构是什么核心模块怎么划分哪个文件负责关键逻辑如何运行这个项目依赖有哪些贡献流程和 CI 里有哪些常见坑模型会自动进行多轮工具调用Agent 循环默认上限 10 轮从 DeepWiki 拉取仓库知识后给出结构化回答。✅成本提示DeepWiki 仅含 3 个工具每次会话只增加约400 prompt tokens是所有预配置 MCP 中最便宜的且按会话选择性开启不启用就零开销。DeepWiki每次调用到底要花多少token每个启用 MCP 的工具描述都会渲染进该会话的系统提示词给首 token 前增加 prefill 开销。官方实测数据2026-07MCP 服务器工具数约 Prompt Token 开销DeepWiki3~400最省Hugging Face8~2,600Brave Search3仅搜索/新闻/摘要~2,900来自官方文档 TOOLS.md 的两个关键结论该成本每次服务器运行只付一次而不是每个会话——工具描述构成稳定提示词前缀llama-server 会跨新会话复用缓存启用集合与顺序不变时较慢的硬件上建议挑一个小的固定 MCP 子集而不是在会话间反复切换。可选Open WebUI完整Agent演示中启用DeepWiki想要更完整的 Agent 体验图片对话、服务端代码解释器、SQL 数据库调查、实时工具运行 Open WebUI 演示./scripts/start_openwebui.sh一条命令自动拉起模型后端、注入演示数据并打开http://localhost:9090。DeepWiki 已连接在消息框的工具菜单中按会话启用即可。功能清单与自定义方法见 OPENWEBUI.md。相关配置位置scripts/start_openwebui.shTOOL_SERVER_CONNECTIONS中的deepwiki条目免密钥、即连即用scripts/openwebui/seed_openwebui.py默认挂载工具天气、网页抓取等的注入逻辑常见问题快速排查现象原因解决方法每个新会话都 prefill 2–3k tokens曾在新会话页打开过 DeepWiki成为该浏览器默认在新会话页的 MCP 选择器中关闭或清除站点数据DevTools → Application → Clear site data隐私窗口可验证干净状态回答慢、思考很久27B 是推理模型等待时间大头是推理 token点输入框灯泡图标降低 Reasoning effortOff/Low/Medium/High/Max或启动时传--reasoning-budget 2048服务器内存吃紧上下文按内存自动分层但仍偏大BONSAI_CTX8192 ./scripts/start_llama_server.sh固定更小上下文⚠️ DeepWiki 只支持公开 GitHub 仓库MCP 开关状态保存在浏览器 localStorage按人、按机器隔离服务端无法远程重置。关键文件索引文件说明README.md项目总览、快速上手、内存与上下文速查表TOOLS.md工具调用与 MCP 完整指南成本、添加自己的 MCPOPENWEBUI.mdOpen WebUI Agent 演示功能与自定义AGENTS.md硬件调优旋钮与实测行为说明scripts/webui-config.json聊天界面 MCP 预配置Hugging Face DeepWikiscripts/start_openwebui.shOpen WebUI 一键启动含 DeepWiki 连接配置community-benchmarks/社区硬件速度基准与提交模板至此你的本地 Bonsai 27B 不仅能聊天还能读懂任意 GitHub 仓库——下次面对陌生项目不必逐页翻文档直接把仓库丢给 Agent 问就行。【免费下载链接】Bonsai-demoBonsai Demo项目地址: https://gitcode.com/GitHub_Trending/bo/Bonsai-demo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考