Private LLM Chat · Self-Hosted LLMs · AWS + Google Cloud
Dein eigenes ChatGPT, auf deiner eigenen GPU.
- Status
- Öffentlich · Doku-Site mit fünf Guides
- Lizenz
- MIT
- Auf GitHub
- ★ 1 · ⑂ 0
- Modellfamilien mit offenen Gewichten, mehrere pro GPU
- 4
- laufende GPUs im Leerlauf
- → 0
- Guides, vom Laptop bis zum kompletten AWS-Stack
- 5
Warum es das gibt
Firmendokumente, Kundendaten oder private Notizen an einen externen KI-Dienst zu schicken, kommt oft nicht infrage. Das Modell selbst zu betreiben schon – aber der Weg vom AWS-Konto zu einer privaten Chat-App fürs Team ist über viele Blogposts verstreut.
Dieses Projekt ist dieser Weg in einem Repository, von einer Demo auf dem Laptop bis zum vollständigen Deployment auf AWS, mit jedem Schritt erklärt.
Was es kann
Privat von Grund auf
Modell, Datenbank und Dateien bleiben in deinem AWS-Konto und deiner Region. Der Modell-Endpoint hat keine öffentliche URL: Nur die IAM-Rolle der App kann ihn aufrufen. Prompts werden nicht geloggt.
Eine GPU, die sich selbst abschaltet
Endpoints starten, wenn jemand eine Nachricht schickt, und werden nach 30 Minuten Leerlauf gelöscht. Eine vergessene GPU kann also keine Rechnung in die Höhe treiben.
Jedes offene Modell
Presets für Qwen, Llama und Gemma oder jedes Hugging-Face-Modell, das vLLM unterstützt. Dieselbe App spricht auch mit Ollama, LM Studio oder jedem OpenAI-kompatiblen Server.
Eine vollständige Chat-App
Gestreamte Antworten, durchsuchbarer Gesprächsverlauf, Markdown mit Code und Tabellen, Anweisungen pro Nutzer und eine Modellauswahl.
Dokumente, Bilder, Suche und Sprache
PDFs und Word-Dateien anhängen, Bilder an Vision-Modelle schicken, Text aus Scans auslesen, über ein selbst gehostetes SearXNG mit Quellenangaben im Web suchen und mit Whisper diktieren.
Konten mit Zwei-Faktor-Anmeldung
E-Mail und Passwort mit Bestätigung, Anmeldung mit Google und Zwei-Faktor-Codes aus einer Authenticator-App oder per E-Mail.
So funktioniert es
- 01
Du drückst auf Senden
Die Django-API prüft, ob die GPU des Modells läuft, und startet sie, falls nicht.
- 02
Der Prompt wird zusammengesetzt
Gesprächsverlauf, deine Dateien und deine Anweisungen werden zusammengeführt und auf das Kontextfenster des Modells gekürzt.
- 03
Das Modell antwortet
Die Anfrage geht, mit IAM signiert, an einen SageMaker-Endpoint mit vLLM und kommt als Stream zurück.
- 04
Die Antwort erreicht deinen Browser
Die API leitet jedes Token an die Next.js-App weiter, sobald es ankommt.
Selbst ausführen
Für den ersten Start brauchst du keine GPU. Du brauchst Docker, etwa 15 GB freien Speicherplatz und 8 GB Arbeitsspeicher. Beim ersten Start wirst du gefragt, welches offene Modell heruntergeladen werden soll.
$ git clone https://github.com/codewithmuh/private-llm-chat-sagemaker-aws.git$ cd private-llm-chat-sagemaker-aws$ make up- Chat-App: http://localhost:3000
- E-Mails (Mailpit): http://localhost:8025
- API und Admin: http://localhost:8000/admin/
- Die Guides führen dich dann zu einer GPU auf SageMaker und zum kompletten Stack auf AWS.
Stack
Aktueller Stand
Fertig
- Die Chat-App mit Konten, Dokumenten, OCR, Websuche und Spracheingabe
- Modellanbieter für SageMaker, OpenAI-kompatible Server und ein Mock für die Entwicklung
- GPU-Steuerung pro Modell: on demand, immer an, aus oder manuell
- Terraform für den kompletten AWS-Stack und CI für Backend, Frontend, Terraform und die Docker-Builds
- Fünf Guides, vom Laptop bis zum kompletten Stack auf AWS
Noch offen
- Ein Port auf Google Cloud Run, noch früh
- Ein Bedrock-Anbieter für Vergleiche
Es werden keine Produktionsnutzer behauptet. Der Port auf Google Cloud Run ist noch früh.
Fragen
- Brauche ich eine GPU auf meinem Laptop?
- Nein. Die ersten beiden Stufen laufen auf jedem Rechner. Die GPU liegt auf SageMaker.
- Was kostet das?
- Die App selbst kostet auf AWS etwa $80 bis $90 im Monat. GPUs werden stundenweise abgerechnet, solange ein Endpoint existiert: etwa $1.13 bis $2.61 pro Stunde für die Single-GPU-Presets in us-east-1. Mit On-Demand-Skalierung zahlst du nur die genutzten Stunden.
- Warum SageMaker und nicht einfach eine EC2-GPU?
- Verwaltete Health Checks, automatische Neustarts und Zugriff auf das Modell nur über IAM. Der Serving-Container ist Standard-vLLM, ein späterer Umzug auf EC2, EKS oder eigene Hardware ist also unkompliziert.
- Warum nicht Amazon Bedrock?
- Bedrock ist gut für verwaltete Modelle, aber du kannst dort nicht jedes beliebige offene Modell mit deinen eigenen Einstellungen betreiben.
- Ist es produktionsreif?
- Es ist eine sichere Basis: Anmeldung mit Zwei-Faktor-Codes, privates Netzwerk, IAM, verschlüsselter Speicher, Tests und CI. Bevor du Firmendaten hineingibst, prüf Backups, E-Mail-Versandlimits, eine Firewall und Monitoring für deine eigenen Anforderungen.
Du willst Private LLM Chat für dein Team betreiben oder etwas Ähnliches bauen lassen?