Private LLM Chat · セルフホスト LLM · AWS + Google Cloud

自分専用の ChatGPT を、 自分の GPU で。

オープンウェイトのモデル(Qwen、Llama、Gemma、DeepSeek)を Amazon SageMaker 上の vLLM で提供します。1 台の GPU に複数のモデルを載せ、重みは S3 から読み込み、インターネットに出ない VPC も選べます。GPU はアイドル時に自動で停止します。Django と React のアプリはチャットをストリーミングし、ドキュメント、画像、音声も扱えます。
ステータス
公開中 · 5 本のガイドつきドキュメントサイト
ライセンス
MIT
GitHub
★ 1 · ⑂ 0
つのオープンウェイトのモデルファミリー。1 台の GPU に複数
4
アイドル時に動いている GPU の数
→ 0
本のガイド。ノート PC から AWS のフルスタックまで
5
01

作った理由

社内文書や顧客データ、個人的なメモを外部の AI サービスに送れないことはよくあります。モデルを自分で動かせば解決しますが、AWS アカウントからチーム向けのプライベートなチャットアプリにたどり着くまでの道筋は、たくさんのブログ記事に散らばっています。

このプロジェクトは、その道筋を 1 つのリポジトリにまとめたものです。ノート PC でのデモから AWS へのフルデプロイまで、各ステップを解説しています。

02

できること

  • 設計段階からプライベート

    モデル、データベース、ファイルは、あなたの AWS アカウントとリージョンから出ません。モデルのエンドポイントには公開 URL がなく、呼び出せるのはアプリの IAM ロールだけです。プロンプトはログに残りません。

  • 自動で停止する GPU

    エンドポイントは誰かがメッセージを送ると起動し、30 分アイドルが続くと削除されます。GPU の消し忘れで請求が膨らむことはありません。

  • どのオープンモデルでも

    Qwen、Llama、Gemma のプリセットに加え、vLLM が対応する Hugging Face のモデルなら何でも使えます。同じアプリから Ollama、LM Studio、OpenAI 互換のサーバーにも接続できます。

  • 本格的なチャットアプリ

    回答のストリーミング、検索できる会話履歴、コードや表を含む Markdown、ユーザーごとの指示、モデルの切り替え。

  • ドキュメント、画像、検索、音声

    PDF や Word ファイルの添付、画像認識モデルへの画像送信、スキャンからの文字起こし、セルフホストの SearXNG による引用つき Web 検索、Whisper による音声入力。

  • 二要素認証つきのアカウント

    確認メールつきのメールアドレスとパスワード、Google でサインイン、認証アプリまたはメールによる二要素認証コード。

03

仕組み

  1. 01

    送信を押す

    Django の API がモデルの GPU が起動しているかを確認し、止まっていれば起動します。

  2. 02

    プロンプトを組み立てる

    会話履歴、ファイル、指示をまとめ、モデルのコンテキストウィンドウに収まるように切り詰めます。

  3. 03

    モデルが回答する

    リクエストは IAM で署名され、vLLM が動く SageMaker のエンドポイントに送られ、ストリームとして返ってきます。

  4. 04

    回答がブラウザに届く

    API は届いたトークンを一つずつ Next.js のアプリに中継します。

fig. 01セルフホストのスタック
REACT APPstream · docs · images · voiceDjango APIstreaming rest · 2faWhisperOCRWeb searchSAGEMAKER · VLLMQwenLlamaGemmaDeepSeekGPUseveral models per gpuscale → 0 when idleweights from s3 · no-internet vpc optionS3 weightsofflinePrivate VPCoptionalModel Runnerlaptop · dockerTERRAFORM · ONE STACKalbcdnecssagemakerdatabasenetworkecremailcicddocs site · guides · gpu sizing · cost reference · MIT
04

自分で動かす

最初の起動に GPU は不要です。Docker、約 15 GB の空きディスク、8 GB のメモリがあれば動きます。初回起動時に、ダウンロードするオープンモデルを選びます。

$ git clone https://github.com/codewithmuh/private-llm-chat-sagemaker-aws.git$ cd private-llm-chat-sagemaker-aws$ make up
  • チャットアプリ: http://localhost:3000
  • メール(Mailpit): http://localhost:8025
  • API と管理画面: http://localhost:8000/admin/
  • そこから先は、ガイドに沿って SageMaker の GPU へ、さらに AWS のフルスタックへ進みます。
05

技術スタック

モデル提供
vLLMAmazon SageMaker
バックエンド
Django 5.2Django REST Framework
フロントエンド
Next.js 16React 19TypeScript
データ
PostgreSQL (RDS)S3
インフラ
TerraformECS FargateCloudFrontALBSES
ローカル
Docker ComposeOllamaMailpit
06

現在の状況

実装済み

  • アカウント、ドキュメント、OCR、Web 検索、音声入力を備えたチャットアプリ
  • SageMaker、OpenAI 互換サーバー、開発用モックのモデルプロバイダー
  • モデルごとの GPU 制御:オンデマンド、常時起動、停止、手動
  • AWS のフルスタックを構築する Terraform と、バックエンド、フロントエンド、Terraform、Docker ビルドの CI
  • ノート PC から AWS のフルスタックまでの 5 本のガイド

未実装

  • Google Cloud Run への移植(まだ初期段階)
  • 比較用の Bedrock プロバイダー

本番ユーザーがいるとは主張していません。Google Cloud Run への移植はまだ初期段階です。

07

よくある質問

ノート PC に GPU は必要ですか?
いいえ。最初の 2 つのレベルはどのマシンでも動きます。GPU は SageMaker 上にあります。
費用はどれくらいですか?
アプリ自体は AWS で月 $80〜$90 程度です。GPU はエンドポイントが存在する間、時間単位で課金されます。us-east-1 のシングル GPU のプリセットで 1 時間あたり約 $1.13〜$2.61 です。オンデマンドのスケーリングなら、使った時間分だけの支払いです。
素の EC2 の GPU ではなく SageMaker を使うのはなぜですか?
マネージドのヘルスチェック、自動再起動、IAM だけで許可するモデルへのアクセスがあるからです。提供用のコンテナは標準の vLLM なので、あとから EC2、EKS、自前のハードウェアに移すのも簡単です。
Amazon Bedrock を使わないのはなぜですか?
Bedrock はマネージドのモデルには便利ですが、好きなオープンモデルを自分の設定で動かすことはできません。
本番で使えますか?
安全な土台にはなっています。二要素認証つきのサインイン、プライベートネットワーク、IAM、暗号化されたストレージ、テスト、CI。社内データを入れる前に、バックアップ、メール送信の上限、ファイアウォール、監視を自分の要件に合わせて見直してください。
→お仕事のご依頼

Private LLM Chat をチームで動かしたい、あるいは似たものを作りたいとお考えですか?