DeepSeek推出的LLM推理新策略DeepSeek最近发表的论文DeepSeek-R1中介绍了一种创新的方法通过强化学习RL提升大型语言模型LLM的推理能力。这项研究在如何仅依靠强化学习而不是过分依赖监督式微调的情况下增强LLM解决复杂问题的能力上取得了重要进展。DeepSeek-R1 技术概述模型架构DeepSeek-R1 不是一个单独的模型而是包括DeepSeek-R1-Zero和DeepSeek-R1的模型系列。下面我来阐明 DeepSeek-R1 和 DeepSeek-R1-Zero 之间的关键差异主要区别DeepSeek-R1-Zero是团队初步尝试仅用纯强化学习而不进行任何监督式微调的实验。他们从基础模型出发直接运用强化学习让模型通过不断试错来发展其推理能力。这种方法虽然取得了较好的成果在 AIME 2024 测试中达到了 71% 的准确率但在可读性和语言连贯性上存在明显不足。该模型拥有 6710 亿个参数使用了混合专家MoE架构其中每个词触发的参数约为 370 亿。此模型展现了一些新兴的推理行为例如自我核查、反思和长链推理CoT。与之对比DeepSeek-R1采用了更复杂的多阶段训练方法。它不仅仅采用强化学习而是先在一小组精心挑选的示例称为“冷启动数据”上进行监督式微调然后再应用强化学习。这种方法克服了 DeepSeek-R1-Zero 的局限同时取得了更优的表现。这个模型同样维持了 6710 亿的参数数量但在回答的可读性和条理性上有所提高。训练过程对比训练方法概述强化学习不同于传统依赖监督学习的模型DeepSeek-R1 大规模采用了强化学习。此训练方法利用群体相对策略优化GRPO重点提升精度和格式化奖励以增强推理能力无需依赖大量标注数据。蒸馏技术为普及高效能模型DeepSeek 也推出了 R1 的蒸馏版本参数规模从15亿到700亿不等。这些模型采用了如Qwen和Llama等架构表明即使是较小和更高效的模型也能包含复杂的推理能力。蒸馏过程通过使用 DeepSeek-R1 生成的合成推理数据对这些小型模型进行微调以较低的计算成本保持高性能。DeepSeek-R1-Zero 的训练流程起始于基础模型直接应用强化学习根据准确度和格式采用简单奖励机制DeepSeek-R1 的训练流程包含四个阶段初始阶段采用数千个高品质样本进行监督式微调针对推理任务进行强化学习通过拒绝抽样方法收集新的训练数据对所有类型的任务进行最终强化学习性能指标推理基准测试DeepSeek-R1 在各种基准测试中表现出色AIME 2024实现了 79.8% 的通过率高于 OpenAI 的 o1–1217 的 79.2%。MATH-500得分高达 97.3%略优于 o1–1217 的 96.4%。SWE-bench 验证在编程任务中表现优越证明了其编程能力。成本效率DeepSeek-R1 的 API 服务每百万输入令牌的成本为0.14美元比 OpenAI 的类似模型便宜很多。局限性及未来发展该论文指出了若干改进领域模型在处理需要特定输出格式的任务时偶尔会遇到困难。软件工程相关任务的性能还有提升空间。在多语言环境下语言混合带来了挑战。少样本提示通常会导致性能下降。未来的研究将致力于解决这些问题并拓展模型在函数调用、多轮交互和复杂角色扮演场景等领域的能力。部署与可获取性开源与许可DeepSeek-R1及其变体基于 MIT 许可证发布支持开源合作和商业使用包括模型蒸馏。此举对促进创新和降低人工智能模型开发门槛具有关键意义。模型格式这些模型及其蒸馏版本支持 GGML、GGUF、GPTQ 和 HF 等多种格式使其在本地部署上具有灵活性。DeepSeek使用方式我们可以通过三种方式使用DeepSeek官方web访问、API使用、本地部署。1. 通过DeepSeek聊天平台进行网页访问DeepSeek聊天平台提供了一个友好的用户界面允许用户无需任何设置即可与DeepSeek-R1进行互动。访问步骤浏览至DeepSeek聊天平台注册一个账号或者如果您已有账号直接登录。登录后可以选择“深度思考”模式体验DeepSeek-R1的逐步推理功能。2. 通过 DeepSeek API 访问DeepSeek 提供了一个与 OpenAI 格式兼容的 API方便开发者将其嵌入各种应用程序中进行程序化访问。当前注册还可以享有10块钱的赠送额度使用 API 的步骤a. 获取 API 密钥访问DeepSeekAPI平台注册账号并生成您的专属 API 密钥。b. 配置您的环境设置base_url为https://api.deepseek.com/v1。使用您的 API 密钥进行认证通常在 HTTP 头部通过 Bearer Token 进行。c. 发起 API 调用利用 API 向 DeepSeek-R1 发送指令并接收响应。您可以在DeepSeekAPI文档中找到详细的文档和示例。# 请先安装 OpenAI SDKpip3 install openaifromopenaiimportOpenAI clientOpenAI(api_keyDeepSeek API Key,base_urlhttps://api.deepseek.com)responseclient.chat.completions.create(modeldeepseek-chat,messages[{role:system,content:You are a helpful assistant},{role:user,content:Hello},],streamFalse)print(response.choices[0].message.content)3. 在本地部署 DeepSeek-R1两种模型R1 和 R1-Zero**硬件需求**由于模型规模庞大完整模型需要较强的硬件支持。推荐使用具有大量视频内存VRAM的 GPU例如 Nvidia RTX 3090 或更高级别。如果使用 CPU你至少需要 48GB 的 RAM 和 250GB 的磁盘空间但若不使用 GPU 加速性能会显著下降。**蒸馏模型**对于硬件要求不那么高的本地部署DeepSeek 提供了参数范围从 15 亿到 700 亿的蒸馏版本适合硬件配置较低的系统。例如一个 7B 参数的模型可以在至少拥有 6GB VRAM 的 GPU 上运行或在大约 4GB RAM 的 CPU 上运行 GGML/GGUF 格式。DeepSeek本地部署步骤1.Ollama:您可以使用Ollama来在本地部署和运行模型Ollama 是一个工具允许您在个人计算机上本地运行开源 AI 模型。您可以从这里下载它ollama.com/download2. 验证 Ollama 安装情况在进一步操作之前我们需要确保 Ollama 已经正确安装。请打开您的终端或命令提示符输入以下命令ollama--version如果您看到版本号显示出来说明安装成功了如果没有显示那么请仔细检查您是否已按照安装步骤正确执行。3.Download Deepseek R1通过 Ollama 下载 DeepSeek R1 非常便捷。您只需在终端中执行以下命令ollama run deepseek-r1默认版本是7B 模型CPU 大概需要4G内存1.5B大概需要1.7G内存DeepSeek R1 的参数范围从 1.5B 到 671B可以使用ollama run deepseek-r1:1.5b适合自己的模型版本下载时间可能会根据您的网络速度而异。下载期间可以喝杯水或者活动一下身体稍作等待吧4. 运行 DeepSeek R1下载完成后您就可以启动 DeepSeek R1 了。使用以下命令ollama run deepseek-r1就这样您已经在本地机器上顺利启动了 DeepSeek R1感觉如何是不是so easy本地运行试用Deepseek R1现在我们已经成功启动了 DeepSeek R1接下来就是更加有趣的部分——实际使用它让我们一起探索这款强大的 AI 模型能做些什么神奇的事情。1.创意写作DeepSeek R1 在创意写作方面非常擅长。尝试给它这样一个写作提示写一个短故事讲述一个机器人发现自己拥有情感的经历。您会对它输出的既有创意又条理清晰的故事感到惊喜本地运行 DeepSeek R1探索人工智能的未来可能本文即将结束这次我们讲解了在本地环境中使用 Ollama 运行 DeepSeek R1。 DeepSeek R1 这样的强大 AI 模型运行在个人电脑上不仅仅是展示一项引人注目的技术更是我们对未来人工智能发展方向的一种探索。这样做让高级语言模型的强大功能直接落在我们的手中使得个性化定制、深入实验以及更好的隐私保护成为可能。让我们想象以下几种可能开发者可以为特定领域创建出高度定制化的 AI 助手。研究人员在没有云服务依赖的情况下可以更自由地试验 AI 模型。对于那些注重隐私的用户他们可以利用先进的 AI 技术而无需担心个人数据泄露。这一切都指向一个无限的可能性世界最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】