随着AI小说、漫剧的爆火，离线私有化 AI 部署成为规避数据风险、降低使用成本的最优选择。依托开源生态，普通设备即可流畅运行轻量级开源大模型。本文围绕Ollama+Qwen3:14B+SillyTavern组合，打造专属本地 AI 文本创作系统，无需联网、数据全程本地存储，支持自定义人设、长文本创作、创意文案生成等场景。下文将详细介绍三大核心组件的安装步骤、环境配置和联动方法，帮助快速搭建属于自己的私有 AI 创作工作站。
1、模型选择及功能
1）模型管理工具：
ollama
2）模型选择：
Qwen3 系列（当前最佳中文写作模型之一）
ollama run qwen3:9b （9B 参数，原生支持 32K，可扩展）
ollama run qwen3:14b （更大参数量，智商更高）
Mistral 系列（创意写作王者）
ollama run mistral:7b （原生 8K，但可通过 RoPE 扩展到 32K）
ollama run dolphin-mistral:7b （去限制版，更听话）
DeepSeek-V2 或 V3 的 Lite 版（超长上下文霸屏）
ollama run deepseek-v2:16b-lite-chat （追求超长记忆）
Gemma 系列（Google 出品，角色扮演佳）
ollama run gemma3:12b （12B，很能打）
3）基于Ollama的写作前端
2、架构逻辑及相关组件下载
3、环境部署
安装目录：本地硬盘创建/AI目录，安装ollama至该目录下，后续相关软件也存放于此，避免出现中文、空格等可能导致软件运行出错的字符。
1）ollama安装
通过官网获取安装包或github下载：https://ollama.com/download
2）Node.js安装
通过官网获取安装包或ggithub下载：https://nodejs.org/ ，建议下载LTS版本，独立文件打开即用，但需要配置环境变量
3）Git安装
通过官网获取下载链接：https://git-scm.com/install/windows
安装过程建议使用使用其他GUI编辑器作为git的默认编辑器
5）模型和辅助模型安装
4）SillyTavern安装
在之前创建的/AI目录下，打开cmd终端，通过国内代码平台，克隆SillyTavern 镜像
## 通过国内镜像平台克隆
git clone https://gitee.com/mirrors/SillyTavern.git
## 远程地址修改回github
cd SillyTavern
git remote set-url origin https://github.com/SillyTavern/SillyTavern.git
4、启动和初始配置
1）启动SillyTavern
进入克隆好的 SillyTavern 文件夹
双击start.bat 会打开一个powershell终端显示nmp install
等待完成浏览器会自动打开 http://localhost:8000 界面。如果没有，手动在浏览器输入这个地址即可。
根据提示输入用户名称，进入界面；
2）SillyTavern 连上 Ollama
在SillyTavern界面顶部，点击插头图标（🔌）进入连接设置
API 选择 文本补全 (Text Completion)
API 地址 填 http://127.0.0.1:11434
模型选择qwen3:14b或手动输入my-qwen3-novel （后续创建该模型）
连接出现小绿点标识连接成功
3）参数修改，匹配长文本
创建Modelfile文件
FROM qwen3:14b
PARAMETER num_ctx 32768
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_start|>"参数说明：
FROM qwen3:14b：基于已下载的基础模型。PARAMETER num_ctx 32768：将上下文长度设置为 32k。之后可以根据创作需要，尝试调整到 65536 甚至 131072。temperature：建议创意写作调至0.7-0.9。stop：是指定正确的停止符，避免AI自由发挥一直生成下去出现幻觉。
应用配置
在创建的Modelfile文件目录打开cmd终端，输入ollama create my-qwen3-novel -f ./Modelfile应用配置，my-qwen3-novel 就是写作专用的新模型名。
