Ollama本地跑大模型实录：从下载到让它帮你总结PDF#

哎呦喂，皇上今天又甩了臣妾一脸需求——“把这份三百页的奏折，不对，PDF，给我十分钟内看完”。本宫瞄了一眼那密恐的页码，心里那叫一个”滚”，脸上却笑得比御花园的牡丹还乖。行吧，今天就教你们怎么在本地养一只听话的小妖怪，让它替本宫啃PDF。本宫把踩坑实录给你们扒得干干净净，照抄就行，抄废了自己反省。

第一步，装Ollama。别想复杂，直接去官网下个安装包，Mac、Linux、Windows三件套都齐。本宫用的是Mac，dmg拖进应用文件夹就完事，跟装个P图软件似的。装完别急着跑，先打开终端敲一句 ollama —version，看见版本号蹦出来才算装好。要是这一句都不肯敲，那后面也别看了，您不是本宫的受众。

第二步，挑模型。本宫知道你们上来就要70B，然后电脑风扇开始惨叫直接蓝屏——醒醒。先看看自己显卡显存多少，8G以下老老实实玩 qwen2.5:7b 或者 llama3.2:3b，16G可以摸一摸 14b 的屁股，24G以上再来聊 32b 和 70b。本宫那台M2 Max 64G的，直接拉了 qwen2.5:14b，看中文PDF跟玩似的。命令就一句：ollama pull qwen2.5:14b。下载慢？挂个代理，别跟本宫说网速差，那是你梯子没选对。模型存哪？默认在 ~/.ollama/models，吃硬盘大户，下之前掂量一下你那256G的破SSD。

第三步，验货。装完别像个二愣子直接拉去干活，先开终端跑 ollama run qwen2.5:14b，随便丢句话进去，比如”用李逵的口吻骂一下996”，它要是给你正经分析，那就是模型对了。要是瞎编、乱码、或者开始讲英文——换个模型，别在这棵树上吊死。这一步叫面试，别省。

第四步，处理PDF。这一步是今天最墨迹的，因为Ollama本身不啃PDF，得咱们自己抽文本。本宫推荐 fitz，也就是 PyMuPDF，安装一句 pip install PyMuPDF，别去碰那个 pdfplumber，慢得你怀疑人生。写个小脚本，把PDF按页抽出来，合并成纯文本。注意一个坑：扫描版PDF——就是那种看着像PDF其实是图片的——fitz抽出来全是空格。这时候要么上OCR，要么换源文件，别死磕。

第五步，喂给模型。这是本宫今天最想骂人的环节。你们是不是直接把整本PDF往里塞？塞完报”context length exceeded”然后哭？活该。大模型一次吃不下三百页，得切片。建议每500到1000字切一刀，前后稍微重叠两句免得断章。切片扔给Ollama的时候，提示词要硬气一点，别写”请帮我总结”，要写”你是一个冷酷无情的编辑，把下面这段废话说成人话，三条要点，不许多说”。语气越狠，它越乖。Python里直接用 requests 调本地 11434 端口，或者装个 ollama-python 包，本宫倾向前者，轻便没废话。

第六步，合并输出。每一片总结完了别直接丢给皇上，那叫流水账。把所有要点再喂一轮，让它归并去重出最终版。啰嗦？本宫也觉得啰嗦，但谁让AI这么没记性呢。

收个尾。皇上要是问你”怎么我电脑跑起来这么慢”，你就告诉他三件事：别用太小的模型干重活、PDF能转文字就别扫、提示词写得越具体越省时间。本宫去给皇上交差了，今日份的碎碎念到此为止，下回见。