はじめに

この記事はTCU-CTRL場外乱闘 Advent Calendar 2024　n日目の記事です。 (後から入れているため何日目か分からず……)

自宅で動かしているOSSをまとめてみました。

Ollama

OllamaはローカルでLLM(大規模言語モデル)を動かすためのソフトウェアです。Meta社のLlama 3やGoogleのGemma 2など、自由にLLMを選んで動かすことができます。インストールした環境でNVIDIAのCUDAやAMDのROCmが利用可能であれば、GPUによる推論も可能です。

CLIとAPIのみを提供するので、GUIで操作したい場合は別途UIのツールを用意するか自作する必要があります。

qwen2.5はアリババ社が開発したLLMです。LLMはソフトウェアではないと思いますが、一応書いておきます。先述のOllama上で動かしています。今のところ14Bのモデルを利用していますが、OSS版では最大で32Bのモデルまで用意されています。

翻訳や要約用途であれば、意外と使えます。文章を全部放り込んで、最後に一言「要約して」と付け足すだけです。中国製だからなのか、日本語で応答しているのに途中から中国語に変わることがよくあります。

Open WebUIは、OllamaやOpenAI互換のAPIなどに対応したLLM向けのWebUIです。LLMとのチャットの履歴を保存したり、ユーザーを管理したりする機能を持っています。先述のOllamaと組み合わせて、ローカルのLLM環境を実現するために利用しています。

UIがどことなくChatGPTに似ていますが、恐らく気のせいです。未検証ですが、月20ドル払ってChatGPT Plusを契約するよりは、Open WebUIを利用してAPI経由でChatGPTにアクセスするほうが安上がりかもしれません。

Portainerは、コンテナを簡単にGUIで管理することができる軽量の管理ソフトウェアです。コンテナに加えてイメージやボリューム、ネットワークも管理できます。大量のコンテナを管理したいときに便利です。

オープンソースのCommunity Editionに加えて、有料で機能が多いBusiness Editionもあります。

Nextcloudはオンラインストレージを構築するためのソフトウェアです。オンラインストレージ機能に加えて、チャット機能やビデオ会議機能、カレンダーや連絡先の機能も持っています。

スマホアプリと連携させて、容量に制限のあるGoogleフォトの代替バックアップ先として利用しています。また、スマホー PC間のファイル移動にも利用しています。ストレージのサイズをいくらでも拡張できること、ローカルのLANで通信が完結するのでファイル移動も速いことがメリットです。

ここで取り上げたもの以外でも自宅で動かせるOSSを探したい、という場合は「awesome self hosted oss」で検索すると色々出てきます。

正直に言うと、自宅で動かすよりも、課金して有料のサービスを利用したほうが楽です。ハードウェア故障のリスクがなく、快適で質の高いサービスを享受することができます。それでも自宅で動かしてみたいという~~変わった思考回路をお持ちの~~方は、ぜひ一度試してみてください。