围绕DeepSeek与Ollama的本地组合，梳理环境准备、模型拉取、API调用与调优排障的完整路径，帮助AI指导老师构建私有推理环境。 在数据隐私、响应延迟和长期成本成为教学场景关键约束的背景下，把大模型放到本地运行已经从实验性尝试变成可复用的基础设施。Ollama把DeepSeek系列模型的下载、量化、推理封装为几条命令，显著降低了部署门槛。接下来的内容按照环境准备、安装拉取、调用集成、调优排障四个环节展开，每一步都给出可复现的命令与参数依据。
1. 环境准备与模型规格匹配
本地运行DeepSeek之前，需要先确认硬件与模型规格的匹配关系。Ollama目前提供deepseek-r1的1.5B、7B、8B、14B、32B、70B以及671B等不同规模，同时还有deepseek-v3、deepseek-coder-v2等变体。对于AI指导老师常见的备课、答疑和代码辅导任务，7B或8B的q4_K_M量化版本通常能在16GB内存的笔记本上流畅运行，模型文件约4至6GB；14B版本建议32GB内存，32B版本建议64GB内存并配备24GB以上显存，70B和671B则属于多卡工作站或服务器级别。如果使用纯CPU推理，生成速度会明显下降，但用于离线批改和长文本分析仍然可行。
操作系统层面，Ollama支持Linux、macOS和Windows，Linux下可利用NVIDIA CUDA或AMD ROCm加速，macOS通过Metal调用统一内存，Windows原生版本也已支持GPU。需要重点检查显存容量与量化等级：7B q4约需6GB显存，14B q4约需12GB，32B q4约需24GB，70B q4约需48GB。若显存不足，Ollama会自动回退到CPU与GPU混合模式，但吞吐量会大幅波动。磁盘方面，建议为模型仓库预留至少100GB空间，因为不同量化版本和上下文缓存会持续占用存储。AI指导老师还应评估并发人数：单人使用与全班同时调用对num_parallel和内存带宽的要求完全不同，提前确定并发上限可以避免后续频繁调整架构。
模型选择还要考虑上下文长度与任务类型。Ollama默认上下文为2048个token，对于生成教案、解析长代码或阅读多页PDF的场景明显不够，需要通过Modelfile或运行时参数将num_ctx提升到8192甚至32768。但上下文越长，KV缓存占用的显存和内存越多，32B模型在32768上下文下可能额外消耗数GB显存。教学场景中如果主要处理短问答和选择题，7B模型配4096上下文已经足够；如果要做整本教材的知识点抽取，则建议14B以上模型并配合量化KV缓存。综合硬件、任务和并发三方面约束，先确定一个最小可用配置，再逐步升级，是本地部署最稳妥的路径。
2. Ollama安装与DeepSeek模型拉取
Ollama的安装过程在不同平台上有所差异，但核心目标都是让服务在后台监听11434端口。Linux用户可以直接执行curl -fsSL | sh，脚本会自动检测GPU并配置systemd服务；macOS用户下载Ollama.app后拖入应用程序目录，首次启动会请求辅助权限以调用Metal；Windows用户下载OllamaSetup.exe，安装完成后任务栏会出现羊驼图标。安装后可以通过ollama –version确认版本，通过systemctl status ollama或任务管理器确认服务状态。如果网络环境受限，可以设置HTTPS_PROXY或使用离线安装包，但需要保证模型拉取阶段能访问ollama.com的模型仓库。
拉取DeepSeek模型时，命令ollama pull deepseek-r1:7b会下载模型清单、权重和模板，默认存储在~/.ollama/models，Windows则位于C:\Users\用户名\.ollama\models。可以通过OLLAMA_MODELS环境变量修改存储路径，例如将模型放到外置SSD以缓解系统盘压力。拉取完成后，ollama run deepseek-r1:7b会进入交互式命令行，直接输入问题即可获得回复。对于需要固定参数的场景，建议编写Modelfile，例如FROM deepseek-r1:7b、PARAMETER num_ctx 8192、PARAMETER temperature 0.6、PARAMETER top_p 0.9，然后执行ollama create teaching-deepseek -f Modelfile。这样生成的自定义模型会保留系统提示和参数，避免每次启动重复配置。
配置环节还需要关注服务级环境变量。OLLAMA_HOST用于修改监听地址，默认127.0.0.1:11434，如果希望局域网内其他教学设备调用，可以设为0.0.0.0:11434，但必须配合防火墙规则。OLLAMA_KEEP_ALIVE控制模型在内存中的驻留时间，默认5分钟，对于频繁调用的教研场景可以设为24h或-1，减少反复加载的延迟。OLLAMA_NUM_PARALLEL决定并行请求数，OLLAMA_MAX_LOADED_MODELS限制同时加载的模型数量，在显存有限时建议设为1。修改这些变量后需要重启Ollama服务。对于DeepSeek-R1这类推理模型，Ollama的默认模板已经包含思考标记，但输出中可能出现思考过程，若只希望保留最终答案，可以在应用层解析message.content并过滤特定标记。
3. 本地调用与教学场景集成
Ollama提供了原生API和OpenAI兼容接口，方便把DeepSeek接入现有教学工具。原生接口位于:11434/api/generate和/api/chat，前者适合单轮补全，后者适合多轮对话；OpenAI兼容接口位于:11434/v1，API Key可以任意填写。Python中可以使用openai库，将base_url指向本地地址，model设为deepseek-r1:7b，即可像调用云端模型一样发送请求。对于AI指导老师，这意味着可以在Jupyter Notebook中批量生成练习题，在VS Code的Continue插件中获取代码解释，或在Open WebUI中搭建一个带历史记录的问答界面。Open WebUI可以通过Docker部署，配置Ollama地址后自动读取本地模型列表。
教学场景的集成需要处理流式输出、超时和上下文管理。Ollama API默认返回完整响应，但设置stream=True可以逐token返回，适合课堂演示时实时显示推理过程。由于DeepSeek-R1可能生成较长的思考链，客户端超时时间应设为120秒以上，避免长题目解析被截断。多轮对话中，建议只保留最近若干轮历史，并对历史消息做摘要，以控制上下文长度。一个具体案例是，AI指导老师用本地DeepSeek为Python课程生成课后习题：通过/api/chat传入系统提示“你是一位Python助教，请生成5道难度递增的列表推导式题目并给出答案”，模型在本地完成生成，题目和学生数据都不离开内网。之后还可以用同一API对学生的提交做初步批改，将疑似错误标注出来供教师复核。
把本地模型接入现有平台时，要注意模型名称、端口和鉴权的一致性。Open WebUI、Chatbox、LobeChat等前端通常要求填写Ollama地址和模型名，若Ollama运行在另一台机器，需要把地址改为局域网IP并确保11434端口可达。对于Moodle、飞书或钉钉机器人，可以通过Webhook调用本地API，但应在中间层加入请求频率限制和内容过滤，防止恶意提示词消耗资源。DeepSeek-Coder模型还可以接入代码编辑器，提供函数补全和单元测试生成；DeepSeek-R1则更适合数学推导和逻辑题讲解。将不同模型按任务路由，例如短问答走7B、复杂推理走14B，可以在有限硬件上获得更好的响应平衡。集成完成后，建议用一组固定测试题记录延迟和准确率，作为后续调优的基线。
4. 性能调优与故障排查
性能调优的核心是让模型层尽可能多地放入GPU，同时控制上下文和批处理大小。可以通过ollama run deepseek-r1:7b –verbose查看每层分配情况和每秒生成token数，再调整num_gpu参数，例如在Modelfile中设置PARAMETER num_gpu 99让Ollama尽可能使用所有层。如果显存不足，可以降低量化等级，例如从q8_0换到q4_K_M，或减少num_ctx，因为KV缓存会随上下文线性增长。Ollama支持Flash Attention和KV缓存量化，设置OLLAMA_FLASH_ATTENTION=1和OLLAMA_KV_CACHE_TYPE=q8_0可以在长上下文下节省显存。对于CPU推理，num_thread建议设为物理核心数，太高反而会因线程竞争降低吞吐。每次只调整一个参数并记录ollama ps中的显存占用和生成速度，才能找到稳定配置。
常见故障中，显存不足最为典型，日志通常出现在~/.ollama/logs/server.log或Windows的%LOCALAPPDATA%\Ollama\server.log，报错包含CUDA out of memory或failed to allocate。解决路径依次是降低模型规模、降低量化等级、减少num_ctx、减少num_gpu，最后才是关闭其他占用显存的程序。端口冲突表现为服务启动失败或API无法访问，可以通过OLLAMA_HOST=0.0.0.0:11435更换端口，并用netstat或lsof确认占用。模型加载缓慢往往与磁盘I/O有关，把模型放到NVMe SSD并设置OLLAMA_KEEP_ALIVE=24h能显著改善。如果API返回空内容或乱码，需要检查模型模板是否匹配，DeepSeek-R1的对话格式与普通指令模型不同，使用Ollama官方模型通常不会出错，但自定义Modelfile时若覆盖了TEMPLATE就可能破坏格式。
安全边界同样属于调优的一部分。Ollama默认只监听本地回环地址，一旦改为0.0.0.0就必须配置防火墙，只允许教研内网网段访问，并通过Nginx或Caddy反向代理增加Basic Auth或Token鉴权。对于涉及学生隐私的数据，应确保请求不经过任何外部网络，同时关闭Ollama的自动更新检查或使用离线安装包。日志中可能包含完整提示词和模型输出，需要设置日志轮转和访问权限。如果发现生成速度突然下降，可以先用ollama ps确认模型是否仍驻留显存，再用nvidia-smi或rocm-smi查看GPU利用率；若利用率长期低于30%，说明瓶颈在CPU预处理或上下文过长，此时再检查num_thread与num_ctx并重新执行ollama run deepseek-r1:7b –verbose，观察每秒生成token数是否回到基线水平。
