在 LobeHub 中使用 Unsloth
Unsloth 可运行本地模型,并通过 Unsloth Studio 提供 OpenAI 兼容 API。LobeHub 连接到你已经启动的实例,不提供托管推理账号,也不会代你下载模型。下载前请检查模型许可证和硬件要求。
在 LobeHub 中配置时,打开 应用设置 → AI 服务商,选择对应服务商并打开右侧开关。
第一步:启动 Unsloth Studio
- 参考官方安装指南安装 Unsloth Studio,并启动桌面应用或 CLI 服务。
- 在 Studio 中下载模型并准备进行推理。Unsloth 模型目录列出的模型不代表已经安装在本地。
- 默认 API 基础地址为
http://127.0.0.1:8888/v1。如果启动时明确指定了其他端口,请将8888替换为实际端口,例如8000。填写以/v1结尾的基础地址,不要填写完整的/chat/completions路径。
第二步:选择连接方式
- 服务端请求要求 LobeHub 服务器能够访问 Studio。
127.0.0.1指服务器自身;在 Docker 中则指容器自身。如果 Studio 运行在其他位置,请使用服务器或容器可访问的地址。 - 客户端请求模式由浏览器直接请求。Studio 必须通过 CORS 允许 LobeHub 页面来源,来自其他浏览器来源的请求还需要该 Studio 实例的真实 API 密钥。终端无密钥请求成功不代表浏览器也能访问,不要填写虚构密钥。
第三步:配置并检查连接
- 打开 LobeHub 的
应用设置,进入AI 服务商板块 - 在列表中找到并选择
Unsloth服务商 - 开启服务商,填写 API 基础地址,并在需要认证时填写真实的 Studio API 密钥。只有端点支持浏览器访问时才开启客户端请求模式。
- 点击「获取模型列表」,选择当前 Studio 实例返回的模型。如果手动添加模型,请使用本地 API 返回的准确模型 ID。内置的两个示例模型默认不启用,也不保证已在本地安装;已有的模型选择会保留。
- 在 Studio 中加载模型后,再次获取列表,以读取该模型的工具调用和视觉能力。Studio 仅为已加载的模型提供这些能力信息,未加载模型的能力可能暂时无法获取。
- 在「连通性检查」中选择该模型并执行检查。成功后,为助手选择同一个模型。
连接问题
- CORS 或预检失败:截至 2026 年 9 月 6 日,Studio 桌面版 API-only 模式会拒绝来自其他本地端口的浏览器请求。上游修复 unsloth#10084 尚未合并,仅开启客户端请求模式不能解决此问题。请使用允许页面来源的 Studio 模式,或通过可访问 Studio 的服务器发起请求。
- Not authenticated / Invalid token payload:即使终端无密钥请求成功,跨来源浏览器请求仍需要有效的 Studio 认证。请填写真实密钥,任意占位字符串都会被拒绝。
- 连接被拒绝或模型不存在:检查实际监听端口、服务器或容器的网络可达性,以及该 Studio 实例返回的模型列表。获取列表成功不等于模型推理成功。
共享服务端配置请参阅 Unsloth 环境变量。本地推理使用你自己的硬件,此服务商不定义托管 API 的每 token 价格。产品可用性和商业服务请查看 Unsloth 官网。