Private LLM Chat · Self-Hosted LLMs · AWS + Google Cloud

Dein eigenes ChatGPT, auf deiner eigenen GPU.

Open-Weight-Modelle (Qwen, Llama, Gemma, DeepSeek) mit vLLM auf Amazon SageMaker, mehrere pro GPU, mit Gewichten aus S3, einer optionalen VPC ohne Internetzugang und einer GPU, die sich im Leerlauf selbst abschaltet. Die Django- und React-App streamt den Chat und verarbeitet Dokumente, Bilder und Sprache.
Status
Öffentlich · Doku-Site mit fünf Guides
Lizenz
MIT
Auf GitHub
★ 1 · ⑂ 0
Modellfamilien mit offenen Gewichten, mehrere pro GPU
4
laufende GPUs im Leerlauf
→ 0
Guides, vom Laptop bis zum kompletten AWS-Stack
5
01

Warum es das gibt

Firmendokumente, Kundendaten oder private Notizen an einen externen KI-Dienst zu schicken, kommt oft nicht infrage. Das Modell selbst zu betreiben schon – aber der Weg vom AWS-Konto zu einer privaten Chat-App fürs Team ist über viele Blogposts verstreut.

Dieses Projekt ist dieser Weg in einem Repository, von einer Demo auf dem Laptop bis zum vollständigen Deployment auf AWS, mit jedem Schritt erklärt.

02

Was es kann

  • Privat von Grund auf

    Modell, Datenbank und Dateien bleiben in deinem AWS-Konto und deiner Region. Der Modell-Endpoint hat keine öffentliche URL: Nur die IAM-Rolle der App kann ihn aufrufen. Prompts werden nicht geloggt.

  • Eine GPU, die sich selbst abschaltet

    Endpoints starten, wenn jemand eine Nachricht schickt, und werden nach 30 Minuten Leerlauf gelöscht. Eine vergessene GPU kann also keine Rechnung in die Höhe treiben.

  • Jedes offene Modell

    Presets für Qwen, Llama und Gemma oder jedes Hugging-Face-Modell, das vLLM unterstützt. Dieselbe App spricht auch mit Ollama, LM Studio oder jedem OpenAI-kompatiblen Server.

  • Eine vollständige Chat-App

    Gestreamte Antworten, durchsuchbarer Gesprächsverlauf, Markdown mit Code und Tabellen, Anweisungen pro Nutzer und eine Modellauswahl.

  • Dokumente, Bilder, Suche und Sprache

    PDFs und Word-Dateien anhängen, Bilder an Vision-Modelle schicken, Text aus Scans auslesen, über ein selbst gehostetes SearXNG mit Quellenangaben im Web suchen und mit Whisper diktieren.

  • Konten mit Zwei-Faktor-Anmeldung

    E-Mail und Passwort mit Bestätigung, Anmeldung mit Google und Zwei-Faktor-Codes aus einer Authenticator-App oder per E-Mail.

03

So funktioniert es

  1. 01

    Du drückst auf Senden

    Die Django-API prüft, ob die GPU des Modells läuft, und startet sie, falls nicht.

  2. 02

    Der Prompt wird zusammengesetzt

    Gesprächsverlauf, deine Dateien und deine Anweisungen werden zusammengeführt und auf das Kontextfenster des Modells gekürzt.

  3. 03

    Das Modell antwortet

    Die Anfrage geht, mit IAM signiert, an einen SageMaker-Endpoint mit vLLM und kommt als Stream zurück.

  4. 04

    Die Antwort erreicht deinen Browser

    Die API leitet jedes Token an die Next.js-App weiter, sobald es ankommt.

fig. 01Self-Hosted-Stack
REACT APPstream · docs · images · voiceDjango APIstreaming rest · 2faWhisperOCRWeb searchSAGEMAKER · VLLMQwenLlamaGemmaDeepSeekGPUseveral models per gpuscale → 0 when idleweights from s3 · no-internet vpc optionS3 weightsofflinePrivate VPCoptionalModel Runnerlaptop · dockerTERRAFORM · ONE STACKalbcdnecssagemakerdatabasenetworkecremailcicddocs site · guides · gpu sizing · cost reference · MIT
04

Selbst ausführen

Für den ersten Start brauchst du keine GPU. Du brauchst Docker, etwa 15 GB freien Speicherplatz und 8 GB Arbeitsspeicher. Beim ersten Start wirst du gefragt, welches offene Modell heruntergeladen werden soll.

$ git clone https://github.com/codewithmuh/private-llm-chat-sagemaker-aws.git$ cd private-llm-chat-sagemaker-aws$ make up
  • Chat-App: http://localhost:3000
  • E-Mails (Mailpit): http://localhost:8025
  • API und Admin: http://localhost:8000/admin/
  • Die Guides führen dich dann zu einer GPU auf SageMaker und zum kompletten Stack auf AWS.
05

Stack

Model Serving
vLLMAmazon SageMaker
Backend
Django 5.2Django REST Framework
Frontend
Next.js 16React 19TypeScript
Daten
PostgreSQL (RDS)S3
Infrastruktur
TerraformECS FargateCloudFrontALBSES
Lokal
Docker ComposeOllamaMailpit
06

Aktueller Stand

Fertig

  • Die Chat-App mit Konten, Dokumenten, OCR, Websuche und Spracheingabe
  • Modellanbieter für SageMaker, OpenAI-kompatible Server und ein Mock für die Entwicklung
  • GPU-Steuerung pro Modell: on demand, immer an, aus oder manuell
  • Terraform für den kompletten AWS-Stack und CI für Backend, Frontend, Terraform und die Docker-Builds
  • Fünf Guides, vom Laptop bis zum kompletten Stack auf AWS

Noch offen

  • Ein Port auf Google Cloud Run, noch früh
  • Ein Bedrock-Anbieter für Vergleiche

Es werden keine Produktionsnutzer behauptet. Der Port auf Google Cloud Run ist noch früh.

07

Fragen

Brauche ich eine GPU auf meinem Laptop?
Nein. Die ersten beiden Stufen laufen auf jedem Rechner. Die GPU liegt auf SageMaker.
Was kostet das?
Die App selbst kostet auf AWS etwa $80 bis $90 im Monat. GPUs werden stundenweise abgerechnet, solange ein Endpoint existiert: etwa $1.13 bis $2.61 pro Stunde für die Single-GPU-Presets in us-east-1. Mit On-Demand-Skalierung zahlst du nur die genutzten Stunden.
Warum SageMaker und nicht einfach eine EC2-GPU?
Verwaltete Health Checks, automatische Neustarts und Zugriff auf das Modell nur über IAM. Der Serving-Container ist Standard-vLLM, ein späterer Umzug auf EC2, EKS oder eigene Hardware ist also unkompliziert.
Warum nicht Amazon Bedrock?
Bedrock ist gut für verwaltete Modelle, aber du kannst dort nicht jedes beliebige offene Modell mit deinen eigenen Einstellungen betreiben.
Ist es produktionsreif?
Es ist eine sichere Basis: Anmeldung mit Zwei-Faktor-Codes, privates Netzwerk, IAM, verschlüsselter Speicher, Tests und CI. Bevor du Firmendaten hineingibst, prüf Backups, E-Mail-Versandlimits, eine Firewall und Monitoring für deine eigenen Anforderungen.
→Zusammenarbeiten

Du willst Private LLM Chat für dein Team betreiben oder etwas Ähnliches bauen lassen?