DeepSeek与Ollama组合让大模型在本地完成推理，兼顾隐私、成本与可控性。本文覆盖安装、模型拉取、参数调优、教学场景落地与排障。
大模型进入教学场景后，很多机构发现云端 API 的按量计费、数据出境和网络延迟会成为长期约束，尤其当 AI 指导老师需要处理学生作业、错题记录和内部讲义时，本地推理的价值不再只是技术尝鲜。Ollama 把模型权重、推理引擎和 HTTP 服务封装成轻量命令行工具，DeepSeek 系列则在中文理解、数学推理和代码生成上表现稳定，两者结合后，一台配备消费级显卡的工作站就能承担备课辅助、答疑机器人和分层练习生成等任务。接下来的内容围绕真实部署流程展开，不回避显存、量化和并发这些容易被教程略过的细节。
1. DeepSeek与Ollama的本地化组合逻辑
Ollama 的底层推理引擎来自 llama.cpp，模型以 GGUF 格式分发，运行时根据显存容量把 Transformer 层分配到 GPU 或 CPU，并向本机 11434 端口暴露 HTTP 服务。DeepSeek 在 Ollama 模型库中主要有两条线，一条是完整的 DeepSeek-V3 与 DeepSeek-R1，参数规模达到 671B 的 MoE 架构，量化后仍需要数百 GB 显存，通常只适合多卡服务器；另一条是 R1 蒸馏版，覆盖 1.5B、7B、8B、14B、32B 和 70B，分别基于 Qwen 与 Llama 架构，中文理解、数学推理和代码生成能力在消费级硬件上更实用。对 AI 指导老师而言，Ollama 把模型下载、量化加载、会话管理和 API 调用收束到几条命令里，DeepSeek 则提供接近云端体验的推理质量，两者组合的核心价值是让教学数据留在本地。
在成人编程培训、K12 辅导和高校助教场景中，学生作业、错题记录、内部讲义往往包含个人信息和机构教研成果，直接上传云端 API 会带来合规审查和泄露风险。一家成人编程培训机构曾用云端接口批改 Python 作业，每月接口费用约三千元，网络延迟三到五秒，遇到高峰期还会触发限流。迁移到本地 deepseek-r1:14b 的 Q4_K_M 量化版本后，单张 RTX 4090 即可运行，首 token 延迟约零点八秒，生成速度约每秒二十个 token，月度成本降到电费与硬件折旧，教师可以离线调试提示词，不必担心调用次数。
需要看清边界的是，Ollama 适合个人教师、教研小组和边缘服务器，不适合面向数千名学生的公开高并发服务。完整 DeepSeek-V3 和 R1 的 671B 版本在 Ollama 中即使使用 Q4 量化，模型文件也接近四百 GB，需要多张 H100 或 A100，普通机构更现实的选择是 14B、32B 蒸馏版，或者把 Ollama 当作开发验证环境，再把稳定提示词迁移到 vLLM 或 TensorRT-LLM。这个判断决定了后续安装、调参和教学落地的规模。
2. 环境准备与模型拉取的关键步骤
先安装 Ollama 运行时。Windows 用户从官网下载安装包后，Ollama 会注册为后台服务并随系统启动；macOS 可以用 Homebrew 执行 brew install ollama，Apple Silicon 会调用 Metal 加速；Linux 推荐执行 curl -fsSL | sh，随后用 systemctl status ollama 检查服务状态。显卡方面，NVIDIA 需要 535 以上驱动和可用的 CUDA 环境，AMD 走 ROCm，Apple 芯片依赖统一内存。真正影响长期使用的环境变量有三个，OLLAMA_MODELS 用于把模型目录迁到大容量固态盘，OLLAMA_HOST 设为 0.0.0.0:11434 可让局域网内的教学终端访问，OLLAMA_KEEP_ALIVE 设为 30m 能让模型在两次提问之间保持显存驻留，减少反复加载。
拉取模型时先根据硬件选标签。ollama pull deepseek-r1:7b 的 Q4_K_M 文件约四点七 GB，适合八 GB 显存；14B 约九 GB，建议十二 GB 以上显存；32B 约二十 GB，建议二十四 GB 显存；70B 约四十 GB，需要四十八 GB 显存或多卡。执行 ollama run deepseek-r1:14b 后可以直接对话，ollama list 查看已下载模型，ollama ps 查看当前加载状态和 GPU 占用比例。如果显存不足，Ollama 会自动把部分层放在 CPU，响应速度明显下降，此时应换更小模型或降低量化等级。教学团队可以用 Modelfile 固化配置，例如 FROM deepseek-r1:14b 后写入 PARAMETER temperature 0.3、PARAMETER num_ctx 8192、PARAMETER top_p 0.9、PARAMETER repeat_penalty 1.1，再执行 ollama create teaching-deepseek -f Modelfile 得到专用模型。
服务跑起来后，AI 指导老师通常不会只停留在命令行。Ollama 提供原生 /api/generate 与 /api/chat 接口，也提供 OpenAI 兼容的 /v1/chat/completions，Python 中可以把 openai 库的 base_url 指向 :11434/v1，api_key 填任意非空字符串，模型名写 deepseek-r1:14b。前端可以接 Open WebUI、NextChat 或 Dify，把本地模型包装成教师可见的聊天界面、知识库问答和批改工作流。需要注意防火墙放行 11434 端口，局域网共享时最好加反向代理和访问控制，避免学生端直接暴露模型服务。
3. 推理参数调优与常见故障排查
参数调优要围绕教学任务区分。数学解题步骤和代码纠错要求稳定，temperature 可以设为 0.2 到 0.4，top_p 取 0.9，top_k 取 40，repeat_penalty 取 1.1 到 1.15，减少模型绕圈和重复。创意教案、作文引导和课堂活动设计可以放宽到 0.7 到 0.9，让输出更丰富。num_ctx 决定上下文窗口，默认往往偏小，处理教材章节或长错题本时可以调到 8192 或 16384，但显存占用会随上下文增长，24 GB 显卡上 32B 模型开到 16384 容易触发溢出。num_gpu 控制卸载到 GPU 的层数，设为 99 表示尽量全放 GPU；num_thread 只在 CPU 推理时影响明显，通常设为物理核心数。量化选择上，Q4_K_M 是速度、显存和中文质量的平衡点，Q5_K_M 略好但更吃显存，Q2 和 Q3 在数学推理中容易出现步骤断裂，不建议用于正式教学。
常见故障里，CUDA out of memory 出现频率最高，处理顺序是降低 num_ctx、减少 num_gpu、换用更小参数或更低量化，同时关闭浏览器、IDE 和其他占用显存的进程。响应慢时先执行 ollama ps，如果显示 CPU 占比很高，说明模型层没有充分卸载到 GPU，可以用 nvidia-smi 查看显存和利用率，再调整 num_gpu 或换模型。模型拉取中断通常与网络代理有关，Linux 下设置 HTTPS_PROXY 后重试 ollama pull，已经下载的分片会续传。中文回答夹杂英文或格式混乱时，在系统提示词中明确要求使用简体中文、分点讲解和给出最终答案，同时检查 Modelfile 是否误设了过高的 temperature。端口冲突可以用 lsof -i:11434 查看占用进程，或者修改 OLLAMA_HOST 换端口。
排障还需要日志和基准数据。启动 Ollama 前设置 OLLAMA_DEBUG=1 可以输出更详细的加载信息，Linux 下用 journalctl -u ollama 查看服务日志，macOS 和 Windows 的日志通常在用户目录的 .ollama/logs/server.log。ollama run –verbose 会显示加载耗时、prompt eval rate 和 eval rate，教师可以用同一道题在不同模型和量化版本上做对照，记录首 token 延迟、生成速度和答案正确率，再决定是否值得升级硬件。显存温度、功耗墙和主板 PCIe 带宽也会影响长时间批改任务，教研小组最好建立一张模型选型表，把课程类型、学生规模、并发数和硬件配置对应起来。
4. 教学场景中的工作流与案例拆解
AI 指导老师的典型工作流可以拆成推理层、交互层和知识层。推理层由 Ollama 承载 DeepSeek-R1 蒸馏版，交互层用 Open WebUI 或 Dify 提供账号、会话和文件上传，知识层用 Chroma 或 Qdrant 建立向量库，嵌入模型可选 nomic-embed-text。教师把课程标准、教材章节、历年真题和错题本切片后写入向量库，提问时先检索相关片段，再拼接到 DeepSeek 的提示词中，让模型基于机构自有资料回答。提示词结构应包含角色设定、学生水平、教学目标、约束条件和输出格式，例如要求模型以初中数学教师身份，为一名基础薄弱学生讲解一元二次方程根与系数关系，给出两步例题、常见错误和一道变式练习，最后用简体中文输出 Markdown。DeepSeek-R1 的优势是展示推理过程，适合数学、物理和编程步骤讲解，蒸馏版 14B 和 32B 在中文教育语料上的泛化能力足以支撑日常答疑。
某 K12 机构在单卡 A6000 48 GB 工作站上部署 deepseek-r1:32b 的 Q4_K_M 版本，num_ctx 设为 8192，通过 OLLAMA_NUM_PARALLEL 控制并发为四，用于生成初中数学分层练习。教师输入知识点“一元二次方程根与系数关系”和学生层次后，模型生成基础、提高、竞赛三层题目，并附上解析和易错点，人工审核后导入 Moodle 学习管理系统。此前该机构使用云端 API 每月支出约两千元，迁移到本地后三个月收回硬件成本，晚自习断网时也能继续工作。另一个编程训练营用 deepseek-r1:14b 批改 Python 作业，先运行单元测试拿到错误日志，再把题目、学生代码和日志交给模型解释错误原因，temperature 设为 0.1，显著减少了模型编造不存在的语法。
本地部署并不等于可以跳过治理。DeepSeek 仍可能生成错误解法、过时 API 或不符合教学大纲的表述，机构需要保留教师复核环节，对敏感词、个人隐私和意识形态内容做过滤，并对每次模型输出留痕。模型版本应固定，避免自动更新后同一提示词产生漂移，教学团队可以用 Modelfile 固化 system prompt、temperature 和 num_ctx，把验证过的配置纳入版本管理。硬件扩容前先统计真实并发和课程高峰，若只是十名以内教师使用，十四 B 量化模型加一张二十四 GB 显卡已经足够；若面向数百名学生开放，则需要把 Ollama 换成支持连续批处理和更高并发的推理服务，同时保留本地向量库和审核流程。
