02 · K-ビューティー小売 · Vision LLM · メキシコ

AI が店頭にある商品だけをおすすめするスキンケアストア。

Yoon Lab は、韓国のスキンケア製品をオンライン(yoonlab.mx)とメキシコの実店舗で販売しています。Logistika Urbana のプラットフォーム上で動いているため、オンラインストア、POS、バックオフィスがひとつの在庫を共有しています。2026 年、私は Vision LLM による肌分析を追加しました。お客様が写真を撮ると、在庫のある商品だけで組み立てたスキンケアのルーティンが提案されます。
役割
プリンシパル・フルスタックエンジニア(契約)、Logistika Urbana 経由
期間
2024 — 現在 · AI 肌分析は 2026
契約形態
リモート契約
チーム
肌分析:単独で構築(21 コミット中 21)
拠点
メキシコ · yoonlab.mx
点の商品が稼働中のカタログに
371
の韓国ブランド
30+
の商品に肌の悩みのタグ付け
81%
点の商品で 1 つのルーティン、すべて在庫あり
≤ 5
回/店舗/日のスキャン:コストの上限
60
枚:保存している顔画像
0

推定ではなく実数 · クライアントのビジネス指標は含みません

01背景

スキンケアは、お客様が何を買えばいいか分からないことの多いカテゴリーです。30 以上の韓国ブランドの約 370 点が並んでいても、「肌が乾燥する」「ニキビができる」ということしか分からない人の助けにはなりません。店舗ならスタッフがアドバイスできますが、商品の一覧ページにはそれができません。

カタログは、人がスキンケアを選ぶときの基準でインデックスされています。成分と、ニキビ、乾燥、シミ、毛穴の開き、肌バリアの低下といった悩みです。このインデックスがあったからこそ、AI 機能が実現できました。

02課題

このブランドは 2 つのチャネルで販売しています。店舗のカウンターで売れた在庫はすぐにウェブサイトから消えなければならず、ウェブの注文は梱包する担当者のもとに届かなければなりません。

肌分析には、初日から 3 つの厳しい制約がありました。在庫のある商品だけをおすすめすること。お客様の顔を決して保存しないこと。そして、誰でもカメラを向けられる公開機能が、モデルプロバイダーからの青天井の請求を生まないようにすることです。

03アーキテクチャ
図 01リクエスト経路 · 制御
In-store QRhmac tokenPhotonever storedPROVIDER LAYER · RUNTIME SWITCHClaudeactiveOpenAIstandby1-hour prompt caching · refusal fallbacksJSON schemastructured outputRoutinepersonalisedLive catalogin stock onlyEVALUATION HARNESSmodel × reasoning effortagreement vs inter-rater ceilingcost per scan · unusable ratepass gates written before resultsSPEND & ABUSE CONTROLSdeviceemail/24storeper-store daily cap = hard ceiling on spend
04構築したもの
  1. 01

    共通のコマースバックエンドの上に立つオンラインストア

    オンラインストアは AWS Amplify 上の React と Vite で作られており、395 コミット中 134 を私が書きました。ストアが呼び出すもの(カタログ、検索、在庫、チェックアウト、アカウント)は、すべて私が Logistika Urbana のために構築したバックエンドです。

    • OpenSearch による、成分、ブランド、カテゴリー、肌の悩みでのファセット検索
    • すべての商品カードにリアルタイムの在庫を表示。「残り 4 点」まで
    • 商品と紐付いたクリエイター動画の、そのまま購入できるフィード
    • スペイン語の、アプリのように使えるモバイルレイアウト。価格は MXN
    • Apple Pay と Google Pay に対応した Stripe のチェックアウト。SEO のための Puppeteer によるプリレンダリング
  2. 022026年8月〜10月

    構造化出力を、リアルタイムの在庫と突き合わせる

    写真は Vision LLM に送られ、モデルは決められた JSON スキーマ(肌タイプ、悩み、その程度)で答えなければなりません。その悩みを在庫のあるカタログと突き合わせ、最大 5 点の商品でルーティンを選ぶのは、モデルではなくバックエンドです。存在しない商品や売り切れの商品を、モデルがおすすめすることはできません。

    • 両方のプロバイダーで JSON スキーマによる構造化出力
    • カタログ部分はプロンプトキャッシュで 1 時間キャッシュ
    • モデルが写真の分析を拒否したときのフォールバック
  3. 03

    実行時に切り替えられる 2 つのプロバイダー

    Anthropic Claude と OpenAI は、ひとつのプロバイダー層の背後にあります。管理者はデプロイせずに、ダッシュボードから使うプロバイダーを切り替えられます。プロバイダーに障害が起きたとき、価格が変わったとき、評価で負けたときに、これが効いてきます。

    • Claude(effort パラメーターを使用)
    • OpenAI Responses API(json_schema と reasoning effort を使用)
  4. 04

    合格基準を先に決めた評価ハーネス

    モデルを選ぶ前に、モデル × reasoning effort の組み合わせを、独立にラベル付けした写真で総当たりするハーネスを作りました。評価者間一致の上限に対する一致度、上位 2 件の重なり、程度の差が 1 段階以内に収まる割合、使えない回答の割合、そして実測したスキャン 1 回あたりのコストを出します。合格基準は、結果が出る前に文書にしておきました。

  5. 05

    コストと悪用への対策

    カメラを向けて使う AI 機能は、コストを狙った攻撃の対象にもなります。スキャンはすべて複数のクォータを通り、店舗ごとの 1 日の上限が、モデルにかかるコストの絶対的な天井になります。

    • デバイスごとに 1 日 2 回まで無料。メールアドレスを確認するとボーナスあり
    • /24 の IP 範囲ごとに 12 回
    • 店舗ごとに 1 日 60 回
    • 店内の QR コードには HMAC 署名付きトークン。キオスク端末は登録制
  6. 06

    設計段階からのプライバシー保護

    写真はメモリ上で処理され、保存されることはありません。メキシコの個人情報保護法(LFPDPPP)に沿った設計です。1 時間ごとに動く Celery ジョブが、スキャン後 14 日間の購入をスキャンと結び付けるので、誰の顔も残さずに、この機能が売上につながっているかを確認できます。

  7. 07

    店舗に置くブース

    USB カメラでフル解像度の撮影ができる、macOS 14 の SwiftUI キオスクアプリです。コード署名と公証を済ませ、DMG としてリリースできる状態です。完成はしていますが、2026 年 10 月時点ではまだ店舗に設置されていません。

05画面
yoonlab.mx
Yoon Lab のトップページ。実店舗の写真、オンラインで注文するボタンと来店案内のボタン、おすすめの韓国スキンケア商品
図 02オンラインストア:オンラインで注文するか、実店舗に来店するか。
yoonlab.mx
肌の悩みで絞り込んだ Yoon Lab のブランドページ。各商品にリアルタイムの在庫数を表示
図 03肌の悩みでの絞り込み。すべてのカードにリアルタイムの在庫を表示。
yoonlab.mx
成分とブランドで絞り込んだ Yoon Lab の検索結果
図 04カタログ全体の検索。成分とブランドで絞り込み。
yoonlab.mx
30 以上の韓国スキンケアブランドを並べた Yoon Lab のブランド一覧
図 0530 以上の韓国ブランドを一覧で閲覧できます。
スマートフォンで見る Yoon Lab の購入できる動画フィード。商品、価格、「Ver producto」ボタンが付いたクリエイター動画
図 06購入できる動画:商品と紐付いたクリエイターのコンテンツ。
スマートフォンで見る Yoon Lab のホーム画面。スペイン語で、実店舗、オンライン注文、おすすめ商品を表示
図 07モバイルのホーム:すべてスペイン語、$1,000 MXN 以上で送料無料。
スマートフォンで見る Yoon Lab のカタログ。スペイン語で、MXN の価格、在庫ありのラベル、在庫わずかの警告を表示
図 08モバイルのカタログ:MXN の価格とリアルタイムの在庫状況。
06技術スタック
モデル
Claude APIOpenAI Responses APIJSON Schemaプロンプトキャッシュ評価ハーネス
サービス
DjangoDjango REST FrameworkPostgreSQLOpenSearchCeleryHMAC トークン
フロントエンド・アプリ
ReactViteTailwindMediaPipeStripeAWS AmplifySwiftUI (macOS)
07私の担当
  • 肌分析機能のすべて:バックエンドモジュール、プロバイダー層、クォータ、評価ハーネス、ブースのアプリ(21 コミット中 21)
  • オンラインストアが動いているコマースバックエンド(Logistika Urbana を参照)
  • オンラインストア本体の 395 コミット中 134
08レビューする方へ
  • スキャン数、コンバージョン、評価でどのモデルが選ばれたかはクライアントのデータなので、ここには載せていません。
  • オンラインストアは yoonlab.mx で公開されています。その裏にあるコードは非公開で、リンクもしていません。
  • 私の仕事はモデルのデプロイと統合です。ここで使っている Vision モデルを学習させたのは私ではありません。
→採用担当の方へ

プラットフォーム、DevOps、AI プラットフォームのポジションなら、ぜひお話ししましょう。

AWS 上で本番システムを構築・運用し、その中でモデルをデプロイ・運用しています。シニアのプラットフォーム、DevOps、または AI プラットフォームのポジションを探しています。職務経歴書とリファレンスはご依頼に応じてお送りします。

役割
シニア・プラットフォームエンジニア · バックエンド、DevOps、AWS インフラ
拠点
パキスタン・ラホール
言語
英語(ビジネスレベル)· ウルドゥー語(ネイティブ)· 日本語(初級、毎日学習中)
メール
contact@codewithmuh.com