04 · KI-Analyse von Richtlinien & Compliance · US-SaaS
Aus den GPU-Modellen eines Data-Science-Teams ein mandantenfähiges Produkt.
- Rolle
- Lead Backend Engineer, Plattform & ML-Integration
- Zeitraum
- Okt. 2025 — Apr. 2026
- Vertragsform
- Remote
- Team
- Mit dem KI-Engineer und den Data Scientists des Unternehmens
- Standort
- USA · von Lahore aus
- von 1.109 Commits: Top-Contributor in sechs Monaten
- 338
- von 281 Commits an der Haupt-Web-App
- 274
- GPU-Instanzen, Autoscaling des Async-Endpoints
- 0 → 5
- Retries pro Ergebnis, plus ein Sweeper alle 5 Minuten
- 40
gezählt, nicht geschätzt · keine Geschäftskennzahlen des Kunden
Das Produkt von LexGuard liest die Richtlinien eines Unternehmens, extrahiert die darin enthaltenen Regeln, findet Lücken und markiert Auffälligkeiten. Die Analyse übernehmen Machine-Learning-Modelle; um sie herum steht eine mandantenfähige Webanwendung mit Single Sign-on, Abrechnung und CRM-Konnektoren.
Im Oktober 2025 bin ich als Lead Backend Engineer eingestiegen. Ich war für Backend, Server und Deployments verantwortlich, habe einen Großteil des Frontends gebaut und mit dem KI-Engineer die Modelle in Produktion gebracht.
Ein trainiertes Modell ist noch kein Produkt. Es läuft in einem Notebook auf einer Maschine, mit Daten, die genau so aufbereitet sind, wie der Forscher sie aufbereitet hat – und nichts davon übersteht echte Nutzer, echte Dokumente und echtes Request-Volumen.
Hier sind die Dokumente groß, GPU-Inferenz ist langsam und teuer, und die Daten jedes Kunden müssen von denen aller anderen Kunden getrennt bleiben.
- 01Okt.–Nov. 2025
Forschungs-Pipelines → eine ML-API
Ich habe die Pipelines der Data Scientists (sentence-transformers mit FAISS für Regelextraktion, Gap-Analyse und Anomalie-Scoring) in einen Django-REST-Service verpackt, mit Celery- und Redis-Workern, Ein- und Ausgabe über S3, Ausführungs-Tracking und einem Docker-Image, das nicht als Root läuft.
- 02Jan.–Apr. 2026
Asynchrone GPU-Inferenz, die auch große Dokumente verarbeitet
Der KI-Engineer hat einen Qwen2.5-3B-Regelextraktor (einen QLoRA-Adapter) und ein RoBERTa-NER-Modell auf einen asynchronen SageMaker-Endpoint deployt, der von 0 auf 5 GPU-Instanzen skaliert. Ich habe die Integration gebaut: Eingaben in S3 bereitstellen, den Endpoint asynchron aufrufen, Ergebnisse pollen, bei Fehlern wiederholen und sauber in ein Timeout laufen.
- Batching mit Continuation-Tokens und Zusammenführen von Teilergebnissen für Dokumente, die für einen einzelnen Aufruf zu groß sind
- 3 Retries und ein 10-Minuten-Timeout pro Aufruf
- Least-Privilege-IAM: InvokeEndpoint nur auf diesem einen Endpoint und nur die S3-Präfixe, die er braucht
- 03
Ingestion, die keine Ergebnisse verliert
GPU-Ergebnisse kommen spät und schlagen manchmal fehl. Celery speichert jedes Ergebnis mit bis zu 40 Retries, und ein Sweeper läuft alle fünf Minuten und stellt alles, was noch aussteht oder fehlgeschlagen ist, erneut in die Queue. Die Anomalieerkennung läuft täglich für jeden Mandanten.
- 04Feb.–Apr. 2026
Eine Datenbank pro Mandant
Ich habe die Isolation per Database-per-Tenant umgesetzt: ein Django-Datenbank-Router, der vom aktuellen Unternehmen gesteuert wird, asynchrones Provisioning der Mandantendatenbanken auf Aurora PostgreSQL (Stufen mit geteiltem und dediziertem Cluster), RDS Proxy für den Anwendungstraffic und der direkte Endpoint für Schemaänderungen, verschlüsselte Datenbank-Zugangsdaten und Migrationen, die beim Deploy über alle Mandanten laufen.
- 05
Server und Deploys
Container-Builds für Staging und Produktion (Gunicorn mit Uvicorn-Workern; Celery Worker, Beat und Flower; Redis mit AOF-Persistenz; Health Checks und Ressourcenlimits) und ein GitHub-Actions-Deploy mit Speicher- und Plattenchecks, Migrationen, Health-Polling und Cache-Warm-up. Davor Nginx und Cloudflare, das Frontend auf AWS Amplify.
- Backend, Server und Deployments sowie ein Großteil des Frontends
- Top-Contributor im Backend: 338 von 1.109 Commits zwischen Oktober 2025 und April 2026
- 274 von 281 Commits an der Haupt-Web-App
- Die Modelle produktionsreif gemacht und in die Plattform integriert, zusammen mit dem KI-Engineer
- Ich habe die Modelle nicht trainiert und den SageMaker-Endpoint nicht gebaut. Das hat der KI-Engineer gemacht; mein Anteil war, sie produktionsreif zu machen und zu integrieren.
- Der Code von SYBAL ist privat und wird nicht verlinkt.
Eine Rolle in Platform, DevOps oder KI-Plattform? Lass uns reden.
Ich baue und betreibe Produktionssysteme auf AWS und deploye und betreibe Modelle darin. Ich suche eine Senior-Rolle in Platform Engineering, DevOps oder KI-Plattform. Lebenslauf und Referenzen gibt es auf Anfrage.
- Rolle
- Senior Platform Engineer · Backend, DevOps & AWS-Infrastruktur
- Standort
- Lahore, Pakistan
- Sprachen
- Englisch (verhandlungssicher) · Urdu (Muttersprache) · Japanisch (Anfänger, lerne täglich)
- contact@codewithmuh.com