04 · KI-Analyse von Richtlinien & Compliance · US-SaaS

Aus den GPU-Modellen eines Data-Science-Teams ein mandantenfähiges Produkt.

LexGuard AI ist ein US-amerikanisches KI-SaaS-Startup, das Unternehmensrichtlinien auf Compliance-Lücken analysiert. Die Modelle haben die Data Scientists und der KI-Engineer gebaut. Ich war für Backend, Server und Deployments verantwortlich und habe die Arbeit gemacht, die Modelle in einem Produkt nutzbar macht: asynchrone GPU-Inferenz, verlustfreie Übernahme der Ergebnisse und eine eigene Datenbank für jeden Kunden.
Rolle
Lead Backend Engineer, Plattform & ML-Integration
Zeitraum
Okt. 2025 — Apr. 2026
Vertragsform
Remote
Team
Mit dem KI-Engineer und den Data Scientists des Unternehmens
Standort
USA · von Lahore aus
von 1.109 Commits: Top-Contributor in sechs Monaten
338
von 281 Commits an der Haupt-Web-App
274
GPU-Instanzen, Autoscaling des Async-Endpoints
0 → 5
Retries pro Ergebnis, plus ein Sweeper alle 5 Minuten
40

gezählt, nicht geschätzt · keine Geschäftskennzahlen des Kunden

01Kontext

Das Produkt von LexGuard liest die Richtlinien eines Unternehmens, extrahiert die darin enthaltenen Regeln, findet Lücken und markiert Auffälligkeiten. Die Analyse übernehmen Machine-Learning-Modelle; um sie herum steht eine mandantenfähige Webanwendung mit Single Sign-on, Abrechnung und CRM-Konnektoren.

Im Oktober 2025 bin ich als Lead Backend Engineer eingestiegen. Ich war für Backend, Server und Deployments verantwortlich, habe einen Großteil des Frontends gebaut und mit dem KI-Engineer die Modelle in Produktion gebracht.

02Das Problem

Ein trainiertes Modell ist noch kein Produkt. Es läuft in einem Notebook auf einer Maschine, mit Daten, die genau so aufbereitet sind, wie der Forscher sie aufbereitet hat – und nichts davon übersteht echte Nutzer, echte Dokumente und echtes Request-Volumen.

Hier sind die Dokumente groß, GPU-Inferenz ist langsam und teuer, und die Daten jedes Kunden müssen von denen aller anderen Kunden getrennt bleiben.

03Architektur
Abb. 01ML-Integration · Mandanten
TENANTStenant atenant btenant cDjango APIdb router · celeryS3 staginginputs · outputsSAGEMAKER ASYNC · AUTOSCALE 0 → 5Qwen2.5-3B LoRArule extractorRoBERTa NERentity extractioncontinuation tokens · partial mergeCelery ingestionauto-save · 40 retries · sweeper5-minute sweeper re-queues pendingper-tenant anomaly detectionAURORA POSTGRESQLrds proxyddl endpointdb_adb_bdb_cdatabase per tenant · encrypted credentials
04Was ich gebaut habe
  1. 01Okt.–Nov. 2025

    Forschungs-Pipelines → eine ML-API

    Ich habe die Pipelines der Data Scientists (sentence-transformers mit FAISS für Regelextraktion, Gap-Analyse und Anomalie-Scoring) in einen Django-REST-Service verpackt, mit Celery- und Redis-Workern, Ein- und Ausgabe über S3, Ausführungs-Tracking und einem Docker-Image, das nicht als Root läuft.

  2. 02Jan.–Apr. 2026

    Asynchrone GPU-Inferenz, die auch große Dokumente verarbeitet

    Der KI-Engineer hat einen Qwen2.5-3B-Regelextraktor (einen QLoRA-Adapter) und ein RoBERTa-NER-Modell auf einen asynchronen SageMaker-Endpoint deployt, der von 0 auf 5 GPU-Instanzen skaliert. Ich habe die Integration gebaut: Eingaben in S3 bereitstellen, den Endpoint asynchron aufrufen, Ergebnisse pollen, bei Fehlern wiederholen und sauber in ein Timeout laufen.

    • Batching mit Continuation-Tokens und Zusammenführen von Teilergebnissen für Dokumente, die für einen einzelnen Aufruf zu groß sind
    • 3 Retries und ein 10-Minuten-Timeout pro Aufruf
    • Least-Privilege-IAM: InvokeEndpoint nur auf diesem einen Endpoint und nur die S3-Präfixe, die er braucht
  3. 03

    Ingestion, die keine Ergebnisse verliert

    GPU-Ergebnisse kommen spät und schlagen manchmal fehl. Celery speichert jedes Ergebnis mit bis zu 40 Retries, und ein Sweeper läuft alle fünf Minuten und stellt alles, was noch aussteht oder fehlgeschlagen ist, erneut in die Queue. Die Anomalieerkennung läuft täglich für jeden Mandanten.

  4. 04Feb.–Apr. 2026

    Eine Datenbank pro Mandant

    Ich habe die Isolation per Database-per-Tenant umgesetzt: ein Django-Datenbank-Router, der vom aktuellen Unternehmen gesteuert wird, asynchrones Provisioning der Mandantendatenbanken auf Aurora PostgreSQL (Stufen mit geteiltem und dediziertem Cluster), RDS Proxy für den Anwendungstraffic und der direkte Endpoint für Schemaänderungen, verschlüsselte Datenbank-Zugangsdaten und Migrationen, die beim Deploy über alle Mandanten laufen.

  5. 05

    Server und Deploys

    Container-Builds für Staging und Produktion (Gunicorn mit Uvicorn-Workern; Celery Worker, Beat und Flower; Redis mit AOF-Persistenz; Health Checks und Ressourcenlimits) und ein GitHub-Actions-Deploy mit Speicher- und Plattenchecks, Migrationen, Health-Polling und Cache-Warm-up. Davor Nginx und Cloudflare, das Frontend auf AWS Amplify.

05Stack
Services
PythonDjango 5Django REST FrameworkCelery + beatRedisPostgreSQLAurora PostgreSQLRDS Proxy
ML-Integration
SageMaker async inferenceS3IAMQwen2.5-3B (QLoRA)RoBERTa NERsentence-transformersFAISS
Plattform
DockerGitHub ActionsNginxCloudflareAWS Amplify
Produkt
ReactViteAzure AD SSOStripe
06Mein Anteil
  • Backend, Server und Deployments sowie ein Großteil des Frontends
  • Top-Contributor im Backend: 338 von 1.109 Commits zwischen Oktober 2025 und April 2026
  • 274 von 281 Commits an der Haupt-Web-App
  • Die Modelle produktionsreif gemacht und in die Plattform integriert, zusammen mit dem KI-Engineer
07Hinweise für Reviewer
  • Ich habe die Modelle nicht trainiert und den SageMaker-Endpoint nicht gebaut. Das hat der KI-Engineer gemacht; mein Anteil war, sie produktionsreif zu machen und zu integrieren.
  • Der Code von SYBAL ist privat und wird nicht verlinkt.
→Für Hiring-Teams

Eine Rolle in Platform, DevOps oder KI-Plattform? Lass uns reden.

Ich baue und betreibe Produktionssysteme auf AWS und deploye und betreibe Modelle darin. Ich suche eine Senior-Rolle in Platform Engineering, DevOps oder KI-Plattform. Lebenslauf und Referenzen gibt es auf Anfrage.

Rolle
Senior Platform Engineer · Backend, DevOps & AWS-Infrastruktur
Standort
Lahore, Pakistan
Sprachen
Englisch (verhandlungssicher) · Urdu (Muttersprache) · Japanisch (Anfänger, lerne täglich)
E-Mail
contact@codewithmuh.com