跳到主要内容
版本：2.0

Ollama

Ollama 是一个 开源大模型运行与管理工具，它被用于 本地 AI 模型服务 等场景。Ollama 是一个开源工具，简化了机器学习模型的部署和管理，支持多种模型格式。

界面

准备​

在参阅本文档使用 Ollama 时，需要确保如下几点：

  • 登录 Websoft9 控制台，然后找到（或安装）Ollama：

    • 我的应用 菜单找到应用
    • 应用商店 菜单部署应用

  • 应用是基于 Websoft9 安装的

  • 应用的用途符合 MIT 开源许可协议

  • 为应用准备配置访问方式：配置域名 或 服务器安全组开启网外端口

入门指南​

测试安装​

  1. Websoft9 控制台安装 Ollama 后，通过 我的应用 查看应用详情，在 访问 标签页中获取登录信息
  2. 浏览器输入上一个步骤获取的 URL，运行显示 Ollama is running 运行成功

使用可视化界面与 Ollama 聊天​

通过 Websoft9 控制台部署 AnythingLLM 和 Open WebUI 等 AI 可视化工具，连接 Ollama 后即可聊天

配置选项​

  • 部署大模型：docker exec 进入 ollama 容器中运行 ollama run tinydolphin 命令即可（tinydolphin 是大模型范例）

管理维护​

故障​