TextGen：本地大模型的桌面工作台

一句话定位：本地跑大模型的桌面工作台，也能当 OpenAI 兼容服务用。

如果你搜到的是 text-generation-webui，那就是它——项目已经改名为 TextGen，仓库地址变成 oobabooga/textgen，定位也从“网页 UI”变成了“桌面应用 + API”。它是本地推理生态里插件最丰富的一个前端：同一套界面里可以切 llama.cpp、ExLlamaV3、Transformers、TensorRT-LLM 四种加载器，能看图、能读 PDF、能练 LoRA、还能生成图。AGPL-3.0 许可，便携包解压双击就能跑。

核心能力

一、四种加载器共存，同一个界面换后端
--loader 可以手动指定 Transformers、llama.cpp、ExLlamaV3_HF、ExLlamaV3、TensorRT-LLM，不指定则自动检测。实际意义是：同一个 GGUF 模型可以用 llama.cpp 跑（CPU 也行），同一个权重可以用 ExLlamaV3 跑（显卡上快很多），对比不同后端的吐字速度不用开两个软件。

二、便携包解压即用，不用配 Python 环境
官方给 Linux / Windows / macOS 的便携构建，分 CUDA、Vulkan、ROCm、纯 CPU 四种，依赖全部内置，下载解压双击 textgen 就开窗。对不想碰命令行的人这是最省事的路；Vulkan 版还让 AMD 卡用户不用装 ROCm 就能跑。

三、多模态与文件附件，不只是纯文本对话
支持把图片贴进消息做视觉理解，也支持上传 txt、PDF、docx 附件并针对内容提问。做资料整理时很实用：一份十几页的 PDF 丢进去，让它先摘要再拉具体段落，全程不出本机。

四、内置 LoRA 训练与图像生成
训练标签页可以在多轮对话或纯文本数据集上微调 LoRA，支持中断后续跑；图像标签页跑 diffusers 类模型（如 Z-Image-Turbo），带 4bit/8bit 量化与带元数据的图库。这两项让它不只是“聊天客户端”，而是一个小型本地 AI 工作台。

五、OpenAI / Anthropic 兼容 API，能当服务用
加 --api 启动后就能对外提供兼容接口，--api-key、--listen、--gradio-auth 这些参数把鉴权与监听地址管住。场景很具体：你本地跑一个模型，想让其它工具（含支持 MCP 的客户端、脚本、其它应用）都调它，不用再装 Ollama。

使用上手

1. 先试便携包：到 Releases 下载对应系统的压缩包，解压后双击 textgen，模型放到 user_data/models。
2. 拉一个 GGUF 模型：便携包兼容 GGUF（llama.cpp）格式，先拿一个小尺寸模型（4B 以内）验证链路。
3. 想用完整能力就装完整版：start_windows.bat / start_linux.sh / start_macos.sh 一键安装，按提示选显卡厂商，装完访问 http://127.0.0.1:7860。
4. 把常用参数写进配置：在 user_data/CMD_FLAGS.txt 里每行一个，比如 --model my-model.gguf 和 --cache-type q8_0，下次启动不用再选模型。
5. 需要对外提供服务时再开 API：加 --api --api-key <你的密钥>，并且不要随便 --listen 到 0.0.0.0。

优点与不足

优点：

• 加载器最齐，同一个界面里对比不同后端的实际速度。
• 便携包真一键，CUDA / Vulkan / ROCm / CPU 都有现成构建。
• 训练、图像、视觉、附件都在同一个应用里，不用装四五个工具。
• 完全离线、零遥测，可以当企业内网工具用。

不足：

• AGPL-3.0，改了并通过网络提供服务时需要开放源码，商用前要看清楚。
• 功能太多导致界面复杂，新手容易在设置项里迷路。
• 便携包的模型支持范围窄（主要 GGUF），要用 ExLlamaV3 得装完整版。
• 版本迭代频繁，旧教程里的路径与参数经常对不上。

适合谁

• 想在自己机器上跑多个模型、又不愿装一堆工具的本地 AI 玩家。
• 需要给内部应用提供一个本地 OpenAI 兼容接口的开发者。
• 想在小数据集上练 LoRA 但不想搭训练脚本的人。
• 不适合：只想“开箱即聊”的普通用户（Ollama + 一个客户端更简单），以及需要高并发生产推理的场景（该用 vLLM）。

下载与访问

• 仓库：https://github.com/oobabooga/textgen
• 便携包下载：https://github.com/oobabooga/textgen/releases
• 文档 Wiki：https://github.com/oobabooga/textgen/wiki
• 默认访问地址：http://127.0.0.1:7860

许可证与部署

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。