02 · K-Beauty-Einzelhandel · Vision LLM · Mexiko
Ein Skincare-Shop, in dem die KI nur empfiehlt, was im Regal steht.
- Rolle
- Principal Full-Stack Engineer (Vertrag), über Logistika Urbana
- Zeitraum
- 2024 — heute · KI-Hautanalyse 2026
- Vertragsform
- Remote-Vertrag
- Team
- Hautanalyse: allein gebaut (21 von 21 Commits)
- Standort
- Mexiko · yoonlab.mx
- Produkte im Live-Katalog
- 371
- koreanische Marken
- 30+
- der Produkte nach Hautproblem getaggt
- 81 %
- Produkte pro Routine, alle vorrätig
- ≤ 5
- Scans pro Laden und Tag: die Kostenobergrenze
- 60
- gespeicherte Gesichtsbilder
- 0
gezählt, nicht geschätzt · keine Geschäftskennzahlen des Kunden
Hautpflege ist eine Kategorie, in der Kunden oft nicht wissen, was sie kaufen sollen. Rund 370 Produkte von über 30 koreanischen Marken helfen niemandem, der nur weiß, dass sich die eigene Haut trocken anfühlt oder zu Unreinheiten neigt. Im Laden kann das Personal beraten. Ein Produktraster kann das nicht.
Der Katalog ist so indexiert, wie Menschen Hautpflege kaufen: nach Wirkstoff und nach Hautproblem, etwa Akne, Feuchtigkeitsmangel, Pigmentflecken, große Poren oder eine geschwächte Hautbarriere. Erst dieser Index hat das KI-Feature möglich gemacht.
Die Marke verkauft über zwei Kanäle. Ware, die an der Ladenkasse verkauft wird, muss sofort von der Website verschwinden, und eine Web-Bestellung muss die Leute erreichen, die sie packen.
Die Hautanalyse hatte vom ersten Tag an drei harte Vorgaben. Nur vorrätige Produkte empfehlen. Nie das Gesicht einer Kundin speichern. Und nie zulassen, dass ein öffentliches Feature mit Kamera eine nach oben offene Rechnung beim Modellanbieter erzeugt.
- 01
Ein Onlineshop auf dem gemeinsamen Commerce-Backend
Der Onlineshop ist React und Vite auf AWS Amplify; 134 seiner 395 Commits stammen von mir. Alles, was er aufruft (Katalog, Suche, Bestand, Checkout, Konten), ist das Backend, das ich für Logistika Urbana gebaut habe.
- Facettensuche nach Wirkstoff, Marke, Kategorie und Hautproblem, auf OpenSearch
- Live-Bestand auf jeder Produktkarte, bis hin zu „nur noch 4“
- Ein shoppbarer Feed mit Creator-Videos, das Produkt direkt verknüpft
- Ein App-artiges Mobile-Layout auf Spanisch, mit Preisen in MXN
- Stripe-Checkout mit Apple Pay und Google Pay; Pre-Rendering mit Puppeteer für SEO
- 02Aug.–Okt. 2026
Structured Output, abgeglichen mit dem Live-Bestand
Ein Foto geht an ein Vision-LLM, das in einem festen JSON-Schema antworten muss: Hauttyp, Hautprobleme und Schweregrad. Das Backend, nicht das Modell, gleicht diese Probleme mit dem vorrätigen Katalog ab und wählt eine Routine aus bis zu fünf Produkten. Das Modell kann kein Produkt empfehlen, das es nicht gibt oder das ausverkauft ist.
- Structured Outputs per JSON-Schema bei beiden Anbietern
- Der Katalogblock wird per Prompt Caching eine Stunde lang gecacht
- Fallbacks, wenn ein Modell ein Foto ablehnt
- 03
Zwei Anbieter, zur Laufzeit umschaltbar
Anthropic Claude und OpenAI sitzen hinter einer gemeinsamen Provider-Schicht. Ein Admin kann den aktiven Anbieter ohne Deploy im Dashboard umschalten – wichtig, wenn ein Anbieter ausfällt, seine Preise ändert oder in einer Evaluation verliert.
- Claude, mit dem effort-Parameter
- OpenAI Responses API, mit json_schema und reasoning effort
- 04
Ein Evaluation-Harness, die Kriterien zuerst festgelegt
Bevor ich ein Modell auswählte, habe ich ein Harness gebaut, das Modell × Reasoning Effort gegen unabhängig gelabelte Fotos durchtestet. Es misst die Übereinstimmung im Verhältnis zur Obergrenze der Inter-Rater-Übereinstimmung, die Überschneidung der Top 2, den Schweregrad innerhalb einer Stufe, den Anteil unbrauchbarer Antworten und die gemessenen Kosten pro Scan. Die Bestehenskriterien standen schriftlich fest, bevor das erste Ergebnis vorlag.
- 05
Kosten- und Missbrauchskontrollen
Ein KI-Feature mit Kamera ist auch eine Angriffsfläche für Kosten. Jeder Scan durchläuft mehrere Kontingente, und das Tageslimit pro Laden ist die harte Obergrenze dafür, was das Modell kosten kann.
- 2 kostenlose Scans pro Gerät und Tag, plus ein Bonus für eine bestätigte E-Mail-Adresse
- 12 Scans pro /24-IP-Bereich
- 60 Scans pro Laden und Tag
- QR-Codes im Laden tragen HMAC-signierte Tokens; Kiosk-Geräte werden registriert
- 06
Privacy by Design
Das Foto wird im Arbeitsspeicher verarbeitet und nie gespeichert, im Einklang mit Mexikos Datenschutzgesetz (LFPDPPP). Ein stündlicher Celery-Job verknüpft spätere Käufe in einem 14-Tage-Fenster mit Scans – so sieht das Unternehmen, ob das Feature verkauft, ohne irgendjemandes Gesicht zu behalten.
- 07
Ein Kiosk im Laden
Ein SwiftUI-Kiosk für macOS 14 mit einer USB-Kamera, die in voller Auflösung aufnimmt, signiert und notarisiert für die Auslieferung als DMG. Er ist fertig gebaut; Stand Oktober 2026 steht er aber noch in keinem Laden.







- Das Hautanalyse-Feature komplett: Backend-Modul, Provider-Schicht, Kontingente, Evaluation-Harness und Kiosk-App (21 von 21 Commits)
- Das Commerce-Backend, auf dem der Onlineshop läuft (siehe Logistika Urbana)
- 134 von 395 Commits am Onlineshop selbst
- Scan-Volumen, Conversion und welches Modell die Evaluation gewonnen hat, sind Kundendaten und werden hier nicht veröffentlicht.
- Der Onlineshop ist öffentlich unter yoonlab.mx erreichbar. Der Code dahinter ist privat und wird nicht verlinkt.
- Ich deploye und integriere Modelle; die hier verwendeten Vision-Modelle habe ich nicht trainiert.
Eine Rolle in Platform, DevOps oder KI-Plattform? Lass uns reden.
Ich baue und betreibe Produktionssysteme auf AWS und deploye und betreibe Modelle darin. Ich suche eine Senior-Rolle in Platform Engineering, DevOps oder KI-Plattform. Lebenslauf und Referenzen gibt es auf Anfrage.
- Rolle
- Senior Platform Engineer · Backend, DevOps & AWS-Infrastruktur
- Standort
- Lahore, Pakistan
- Sprachen
- Englisch (verhandlungssicher) · Urdu (Muttersprache) · Japanisch (Anfänger, lerne täglich)
- contact@codewithmuh.com