Ollama x Dify x OpenWebUI のサンプル

以下の Docker Image を利用している

https://hub.docker.com/r/ollama/ollama

以下のリポジトリの docker dir の docker-compose.yaml, nginx を利用している

https://github.com/langgenius/dify

以下のリポジトリを Docker Image 化したものを使用している

https://github.com/fatwang2/dify2openai

以下のリポジトリを利用している

https://github.com/open-webui/open-webui

リポジトリの readme と以下の litellm totorial を参考に docker-compose を作成した

https://docs.openwebui.com/tutorial/litellm/

docker-compose.yaml の環境変数は以下を参考に設定した

https://docs.openwebui.com/getting-started/env-configuration/

.env.sample を参考に .env を作成し
ディレクトリの直下で docker compose を実行
※ docker-compose.yaml で GPU を使う or 使わないの設定する

cd ollama
docker-compose up -d

コンテナが起動後に pull, run でテストする

# コンテナに入る
docker exec -it ollama bash

# pull
ollama pull llama2

# run
ollama run llama2

.env.sample を参考に .env を作成し
その後、ディレクトリの直下で docker compose を実行

cd dify
docker-compose up -d

コンテナが起動したら以下リンクから起動する
アカウント設定すれば使えるようになる

http://localhost:54322/install

.env.sample を参考に .env を作成し
その後、ディレクトリの直下で docker compose を実行

cd dify2openai
docker-compose up -d

litellm dir のconfig.yaml.sample を参考に config.yaml を
.env.sample を参考に .env を作成し
その後、ディレクトリの直下で docker compose を実行

cd open_webui
docker-compose up -d

コンテナが起動したら以下リンクから起動する
アカウント設定すれば使えるようになる

http://localhost:54321/auth/

以下、 dify2openai の Docker Image の作成フロー

1. リポジトリをクローン

git clone https://github.com/fatwang2/dify2openai

2. Docker Image 化 以下の .dockerignore, Dockerfile を用意し、コマンドを打ってビルド

.github
pictures/
.env.template
.gitignore
LICENSE
pnpm-lock.yaml
readme.md
vercel.json

FROM node:16

WORKDIR /work
COPY . .

RUN npm install
EXPOSE 3000

CMD ["npm", "start"]

docker build -t <user name>/<image name>:<varsion> .