02 · K-Beauty-Einzelhandel · Vision LLM · Mexiko

Ein Skincare-Shop, in dem die KI nur empfiehlt, was im Regal steht.

Yoon Lab verkauft koreanische Hautpflege online auf yoonlab.mx und in eigenen Läden in Mexiko. Der Shop läuft auf der Plattform von Logistika Urbana, sodass Onlineshop, Kasse und Backoffice einen gemeinsamen Bestand teilen. 2026 habe ich eine Hautanalyse mit einem Vision-LLM hinzugefügt: Eine Kundin macht ein Foto und bekommt eine Routine, die nur aus vorrätigen Produkten besteht.
Rolle
Principal Full-Stack Engineer (Vertrag), über Logistika Urbana
Zeitraum
2024 — heute · KI-Hautanalyse 2026
Vertragsform
Remote-Vertrag
Team
Hautanalyse: allein gebaut (21 von 21 Commits)
Standort
Mexiko · yoonlab.mx
Produkte im Live-Katalog
371
koreanische Marken
30+
der Produkte nach Hautproblem getaggt
81 %
Produkte pro Routine, alle vorrätig
≤ 5
Scans pro Laden und Tag: die Kostenobergrenze
60
gespeicherte Gesichtsbilder
0

gezählt, nicht geschätzt · keine Geschäftskennzahlen des Kunden

01Kontext

Hautpflege ist eine Kategorie, in der Kunden oft nicht wissen, was sie kaufen sollen. Rund 370 Produkte von über 30 koreanischen Marken helfen niemandem, der nur weiß, dass sich die eigene Haut trocken anfühlt oder zu Unreinheiten neigt. Im Laden kann das Personal beraten. Ein Produktraster kann das nicht.

Der Katalog ist so indexiert, wie Menschen Hautpflege kaufen: nach Wirkstoff und nach Hautproblem, etwa Akne, Feuchtigkeitsmangel, Pigmentflecken, große Poren oder eine geschwächte Hautbarriere. Erst dieser Index hat das KI-Feature möglich gemacht.

02Das Problem

Die Marke verkauft über zwei Kanäle. Ware, die an der Ladenkasse verkauft wird, muss sofort von der Website verschwinden, und eine Web-Bestellung muss die Leute erreichen, die sie packen.

Die Hautanalyse hatte vom ersten Tag an drei harte Vorgaben. Nur vorrätige Produkte empfehlen. Nie das Gesicht einer Kundin speichern. Und nie zulassen, dass ein öffentliches Feature mit Kamera eine nach oben offene Rechnung beim Modellanbieter erzeugt.

03Architektur
Abb. 01Request-Pfad · Kontrollen
In-store QRhmac tokenPhotonever storedPROVIDER LAYER · RUNTIME SWITCHClaudeactiveOpenAIstandby1-hour prompt caching · refusal fallbacksJSON schemastructured outputRoutinepersonalisedLive catalogin stock onlyEVALUATION HARNESSmodel × reasoning effortagreement vs inter-rater ceilingcost per scan · unusable ratepass gates written before resultsSPEND & ABUSE CONTROLSdeviceemail/24storeper-store daily cap = hard ceiling on spend
04Was ich gebaut habe
  1. 01

    Ein Onlineshop auf dem gemeinsamen Commerce-Backend

    Der Onlineshop ist React und Vite auf AWS Amplify; 134 seiner 395 Commits stammen von mir. Alles, was er aufruft (Katalog, Suche, Bestand, Checkout, Konten), ist das Backend, das ich für Logistika Urbana gebaut habe.

    • Facettensuche nach Wirkstoff, Marke, Kategorie und Hautproblem, auf OpenSearch
    • Live-Bestand auf jeder Produktkarte, bis hin zu „nur noch 4“
    • Ein shoppbarer Feed mit Creator-Videos, das Produkt direkt verknüpft
    • Ein App-artiges Mobile-Layout auf Spanisch, mit Preisen in MXN
    • Stripe-Checkout mit Apple Pay und Google Pay; Pre-Rendering mit Puppeteer für SEO
  2. 02Aug.–Okt. 2026

    Structured Output, abgeglichen mit dem Live-Bestand

    Ein Foto geht an ein Vision-LLM, das in einem festen JSON-Schema antworten muss: Hauttyp, Hautprobleme und Schweregrad. Das Backend, nicht das Modell, gleicht diese Probleme mit dem vorrätigen Katalog ab und wählt eine Routine aus bis zu fünf Produkten. Das Modell kann kein Produkt empfehlen, das es nicht gibt oder das ausverkauft ist.

    • Structured Outputs per JSON-Schema bei beiden Anbietern
    • Der Katalogblock wird per Prompt Caching eine Stunde lang gecacht
    • Fallbacks, wenn ein Modell ein Foto ablehnt
  3. 03

    Zwei Anbieter, zur Laufzeit umschaltbar

    Anthropic Claude und OpenAI sitzen hinter einer gemeinsamen Provider-Schicht. Ein Admin kann den aktiven Anbieter ohne Deploy im Dashboard umschalten – wichtig, wenn ein Anbieter ausfällt, seine Preise ändert oder in einer Evaluation verliert.

    • Claude, mit dem effort-Parameter
    • OpenAI Responses API, mit json_schema und reasoning effort
  4. 04

    Ein Evaluation-Harness, die Kriterien zuerst festgelegt

    Bevor ich ein Modell auswählte, habe ich ein Harness gebaut, das Modell × Reasoning Effort gegen unabhängig gelabelte Fotos durchtestet. Es misst die Übereinstimmung im Verhältnis zur Obergrenze der Inter-Rater-Übereinstimmung, die Überschneidung der Top 2, den Schweregrad innerhalb einer Stufe, den Anteil unbrauchbarer Antworten und die gemessenen Kosten pro Scan. Die Bestehenskriterien standen schriftlich fest, bevor das erste Ergebnis vorlag.

  5. 05

    Kosten- und Missbrauchskontrollen

    Ein KI-Feature mit Kamera ist auch eine Angriffsfläche für Kosten. Jeder Scan durchläuft mehrere Kontingente, und das Tageslimit pro Laden ist die harte Obergrenze dafür, was das Modell kosten kann.

    • 2 kostenlose Scans pro Gerät und Tag, plus ein Bonus für eine bestätigte E-Mail-Adresse
    • 12 Scans pro /24-IP-Bereich
    • 60 Scans pro Laden und Tag
    • QR-Codes im Laden tragen HMAC-signierte Tokens; Kiosk-Geräte werden registriert
  6. 06

    Privacy by Design

    Das Foto wird im Arbeitsspeicher verarbeitet und nie gespeichert, im Einklang mit Mexikos Datenschutzgesetz (LFPDPPP). Ein stündlicher Celery-Job verknüpft spätere Käufe in einem 14-Tage-Fenster mit Scans – so sieht das Unternehmen, ob das Feature verkauft, ohne irgendjemandes Gesicht zu behalten.

  7. 07

    Ein Kiosk im Laden

    Ein SwiftUI-Kiosk für macOS 14 mit einer USB-Kamera, die in voller Auflösung aufnimmt, signiert und notarisiert für die Auslieferung als DMG. Er ist fertig gebaut; Stand Oktober 2026 steht er aber noch in keinem Laden.

05Screens
yoonlab.mx
Die Startseite von Yoon Lab: Fotos des Ladens, Buttons zum Online-Bestellen oder für einen Ladenbesuch und ausgewählte koreanische Hautpflegeprodukte
Abb. 02Der Onlineshop: online bestellen oder einen Laden besuchen.
yoonlab.mx
Eine Markenseite von Yoon Lab, nach Hautproblem gefiltert, mit Live-Bestand auf jedem Produkt
Abb. 03Filtern nach Hautproblem, mit Live-Bestand auf jeder Karte.
yoonlab.mx
Suchergebnisse bei Yoon Lab, nach Wirkstoff und Marke gefiltert
Abb. 04Suche im ganzen Katalog, gefiltert nach Wirkstoff und Marke.
yoonlab.mx
Das Markenverzeichnis von Yoon Lab mit mehr als dreißig koreanischen Hautpflegemarken
Abb. 05Über 30 koreanische Marken, als Verzeichnis zum Stöbern.
Der shoppbare Video-Feed von Yoon Lab auf einem Smartphone: ein Creator-Video mit dem Produkt, seinem Preis und einem Button „Ver producto“
Abb. 06Shoppbare Videos: Creator-Content mit verknüpftem Produkt.
Der Startbildschirm von Yoon Lab auf einem Smartphone, auf Spanisch, mit dem Laden, Online-Bestellung und ausgewählten Produkten
Abb. 07Die Startseite auf dem Smartphone: durchgehend Spanisch, kostenloser Versand ab $1.000 MXN.
Der Katalog von Yoon Lab auf einem Smartphone, auf Spanisch, mit Preisen in MXN, einem Label „vorrätig“ und einem Hinweis auf geringen Bestand
Abb. 08Der Katalog auf dem Smartphone: Preise in MXN und Live-Bestandsstatus.
06Stack
Modelle
Claude APIOpenAI Responses APIJSON SchemaPrompt CachingEval-Harness
Services
DjangoDjango REST FrameworkPostgreSQLOpenSearchCeleryHMAC-Tokens
Oberflächen
ReactViteTailwindMediaPipeStripeAWS AmplifySwiftUI (macOS)
07Mein Anteil
  • Das Hautanalyse-Feature komplett: Backend-Modul, Provider-Schicht, Kontingente, Evaluation-Harness und Kiosk-App (21 von 21 Commits)
  • Das Commerce-Backend, auf dem der Onlineshop läuft (siehe Logistika Urbana)
  • 134 von 395 Commits am Onlineshop selbst
08Hinweise für Reviewer
  • Scan-Volumen, Conversion und welches Modell die Evaluation gewonnen hat, sind Kundendaten und werden hier nicht veröffentlicht.
  • Der Onlineshop ist öffentlich unter yoonlab.mx erreichbar. Der Code dahinter ist privat und wird nicht verlinkt.
  • Ich deploye und integriere Modelle; die hier verwendeten Vision-Modelle habe ich nicht trainiert.
→Für Hiring-Teams

Eine Rolle in Platform, DevOps oder KI-Plattform? Lass uns reden.

Ich baue und betreibe Produktionssysteme auf AWS und deploye und betreibe Modelle darin. Ich suche eine Senior-Rolle in Platform Engineering, DevOps oder KI-Plattform. Lebenslauf und Referenzen gibt es auf Anfrage.

Rolle
Senior Platform Engineer · Backend, DevOps & AWS-Infrastruktur
Standort
Lahore, Pakistan
Sprachen
Englisch (verhandlungssicher) · Urdu (Muttersprache) · Japanisch (Anfänger, lerne täglich)
E-Mail
contact@codewithmuh.com