今回すること

FlowiseとLocalAIを使って簡単にローカルAIにGUIを作ったり機能を拡張したりする。

環境

メモリを盛ったGPUなしCPU環境を想定。しっかり使おうと思ったらそれなりにスペックが必要。筆者はメモリ32GB

Ubuntu環境

やり方

まずLocalAIをセットアップする

1
2
3

git clone https://github.com/go-skynet/LocalAI
cd LocalAI
cp your-model.bin models/

your-model.binは自分の使いたいモデルをダウンロードする。GGUFファイル等の量子化がなされたモデルが良い。

今回は前回に引き続きXwinモデルのGGUFを利用していく

今回のLocalAiは外部公開目的のものではないのでセキュリティとかはあまり気にする必要がないのでこのまま

1

docker-compose up -d

として

1

curl http://localhost:8080/v1/models

とすると何かしら帰ってくると思うので、これで完了

Flowiseの設定だが

1
2

docker build --no-cache -t flowise .
docker run -d --name flowise -p 3000:3000 flowise

だけでlocalhost:3000にアクセスすれば利用可能となる。

使い方

Flowiseのブラウザにアクセスし、早速Add New

モデル名だけ合わせる必要があるがこれで可能である。

左上のチャットのマークからチャットを開始すれば完璧である。

終わりに

Marketplaceには様々なChatflowsのテンプレがおいてある。だいたいがChatGPT向けに作られているがこれをChatLocalAIに置き換えていけば大体のものがそのまま流用可能である。

ちなみにだが、ここにMarketplaceにあるものの中でも一部はChatGPTと一部のモデルが利用できるようになっている（特に外部の書類を読み込むようなもの）ので、モデルの選択を考える必要がある。

外部から利用したい場合にはtailscaleとかがいいんじゃないでしょうか

自分専用のAIサーバーにいつでもアクセスできるって、近未来感がいいなと思い、おひとりさま専用AIを立てています。