Private LLM Chat · セルフホスト LLM · AWS + Google Cloud
自分専用の ChatGPT を、 自分の GPU で。
- ステータス
- 公開中 · 5 本のガイドつきドキュメントサイト
- ライセンス
- MIT
- GitHub
- ★ 1 · ⑂ 0
- つのオープンウェイトのモデルファミリー。1 台の GPU に複数
- 4
- アイドル時に動いている GPU の数
- → 0
- 本のガイド。ノート PC から AWS のフルスタックまで
- 5
作った理由
社内文書や顧客データ、個人的なメモを外部の AI サービスに送れないことはよくあります。モデルを自分で動かせば解決しますが、AWS アカウントからチーム向けのプライベートなチャットアプリにたどり着くまでの道筋は、たくさんのブログ記事に散らばっています。
このプロジェクトは、その道筋を 1 つのリポジトリにまとめたものです。ノート PC でのデモから AWS へのフルデプロイまで、各ステップを解説しています。
できること
設計段階からプライベート
モデル、データベース、ファイルは、あなたの AWS アカウントとリージョンから出ません。モデルのエンドポイントには公開 URL がなく、呼び出せるのはアプリの IAM ロールだけです。プロンプトはログに残りません。
自動で停止する GPU
エンドポイントは誰かがメッセージを送ると起動し、30 分アイドルが続くと削除されます。GPU の消し忘れで請求が膨らむことはありません。
どのオープンモデルでも
Qwen、Llama、Gemma のプリセットに加え、vLLM が対応する Hugging Face のモデルなら何でも使えます。同じアプリから Ollama、LM Studio、OpenAI 互換のサーバーにも接続できます。
本格的なチャットアプリ
回答のストリーミング、検索できる会話履歴、コードや表を含む Markdown、ユーザーごとの指示、モデルの切り替え。
ドキュメント、画像、検索、音声
PDF や Word ファイルの添付、画像認識モデルへの画像送信、スキャンからの文字起こし、セルフホストの SearXNG による引用つき Web 検索、Whisper による音声入力。
二要素認証つきのアカウント
確認メールつきのメールアドレスとパスワード、Google でサインイン、認証アプリまたはメールによる二要素認証コード。
仕組み
- 01
送信を押す
Django の API がモデルの GPU が起動しているかを確認し、止まっていれば起動します。
- 02
プロンプトを組み立てる
会話履歴、ファイル、指示をまとめ、モデルのコンテキストウィンドウに収まるように切り詰めます。
- 03
モデルが回答する
リクエストは IAM で署名され、vLLM が動く SageMaker のエンドポイントに送られ、ストリームとして返ってきます。
- 04
回答がブラウザに届く
API は届いたトークンを一つずつ Next.js のアプリに中継します。
自分で動かす
最初の起動に GPU は不要です。Docker、約 15 GB の空きディスク、8 GB のメモリがあれば動きます。初回起動時に、ダウンロードするオープンモデルを選びます。
$ git clone https://github.com/codewithmuh/private-llm-chat-sagemaker-aws.git$ cd private-llm-chat-sagemaker-aws$ make up- チャットアプリ: http://localhost:3000
- メール(Mailpit): http://localhost:8025
- API と管理画面: http://localhost:8000/admin/
- そこから先は、ガイドに沿って SageMaker の GPU へ、さらに AWS のフルスタックへ進みます。
技術スタック
現在の状況
実装済み
- アカウント、ドキュメント、OCR、Web 検索、音声入力を備えたチャットアプリ
- SageMaker、OpenAI 互換サーバー、開発用モックのモデルプロバイダー
- モデルごとの GPU 制御:オンデマンド、常時起動、停止、手動
- AWS のフルスタックを構築する Terraform と、バックエンド、フロントエンド、Terraform、Docker ビルドの CI
- ノート PC から AWS のフルスタックまでの 5 本のガイド
未実装
- Google Cloud Run への移植(まだ初期段階)
- 比較用の Bedrock プロバイダー
本番ユーザーがいるとは主張していません。Google Cloud Run への移植はまだ初期段階です。
よくある質問
- ノート PC に GPU は必要ですか?
- いいえ。最初の 2 つのレベルはどのマシンでも動きます。GPU は SageMaker 上にあります。
- 費用はどれくらいですか?
- アプリ自体は AWS で月 $80〜$90 程度です。GPU はエンドポイントが存在する間、時間単位で課金されます。us-east-1 のシングル GPU のプリセットで 1 時間あたり約 $1.13〜$2.61 です。オンデマンドのスケーリングなら、使った時間分だけの支払いです。
- 素の EC2 の GPU ではなく SageMaker を使うのはなぜですか?
- マネージドのヘルスチェック、自動再起動、IAM だけで許可するモデルへのアクセスがあるからです。提供用のコンテナは標準の vLLM なので、あとから EC2、EKS、自前のハードウェアに移すのも簡単です。
- Amazon Bedrock を使わないのはなぜですか?
- Bedrock はマネージドのモデルには便利ですが、好きなオープンモデルを自分の設定で動かすことはできません。
- 本番で使えますか?
- 安全な土台にはなっています。二要素認証つきのサインイン、プライベートネットワーク、IAM、暗号化されたストレージ、テスト、CI。社内データを入れる前に、バックアップ、メール送信の上限、ファイアウォール、監視を自分の要件に合わせて見直してください。
Private LLM Chat をチームで動かしたい、あるいは似たものを作りたいとお考えですか?