02 · K-ビューティー小売 · Vision LLM · メキシコ
AI が店頭にある商品だけをおすすめするスキンケアストア。
- 役割
- プリンシパル・フルスタックエンジニア(契約)、Logistika Urbana 経由
- 期間
- 2024 — 現在 · AI 肌分析は 2026
- 契約形態
- リモート契約
- チーム
- 肌分析:単独で構築(21 コミット中 21)
- 拠点
- メキシコ · yoonlab.mx
- 点の商品が稼働中のカタログに
- 371
- の韓国ブランド
- 30+
- の商品に肌の悩みのタグ付け
- 81%
- 点の商品で 1 つのルーティン、すべて在庫あり
- ≤ 5
- 回/店舗/日のスキャン:コストの上限
- 60
- 枚:保存している顔画像
- 0
推定ではなく実数 · クライアントのビジネス指標は含みません
スキンケアは、お客様が何を買えばいいか分からないことの多いカテゴリーです。30 以上の韓国ブランドの約 370 点が並んでいても、「肌が乾燥する」「ニキビができる」ということしか分からない人の助けにはなりません。店舗ならスタッフがアドバイスできますが、商品の一覧ページにはそれができません。
カタログは、人がスキンケアを選ぶときの基準でインデックスされています。成分と、ニキビ、乾燥、シミ、毛穴の開き、肌バリアの低下といった悩みです。このインデックスがあったからこそ、AI 機能が実現できました。
このブランドは 2 つのチャネルで販売しています。店舗のカウンターで売れた在庫はすぐにウェブサイトから消えなければならず、ウェブの注文は梱包する担当者のもとに届かなければなりません。
肌分析には、初日から 3 つの厳しい制約がありました。在庫のある商品だけをおすすめすること。お客様の顔を決して保存しないこと。そして、誰でもカメラを向けられる公開機能が、モデルプロバイダーからの青天井の請求を生まないようにすることです。
- 01
共通のコマースバックエンドの上に立つオンラインストア
オンラインストアは AWS Amplify 上の React と Vite で作られており、395 コミット中 134 を私が書きました。ストアが呼び出すもの(カタログ、検索、在庫、チェックアウト、アカウント)は、すべて私が Logistika Urbana のために構築したバックエンドです。
- OpenSearch による、成分、ブランド、カテゴリー、肌の悩みでのファセット検索
- すべての商品カードにリアルタイムの在庫を表示。「残り 4 点」まで
- 商品と紐付いたクリエイター動画の、そのまま購入できるフィード
- スペイン語の、アプリのように使えるモバイルレイアウト。価格は MXN
- Apple Pay と Google Pay に対応した Stripe のチェックアウト。SEO のための Puppeteer によるプリレンダリング
- 022026年8月〜10月
構造化出力を、リアルタイムの在庫と突き合わせる
写真は Vision LLM に送られ、モデルは決められた JSON スキーマ(肌タイプ、悩み、その程度)で答えなければなりません。その悩みを在庫のあるカタログと突き合わせ、最大 5 点の商品でルーティンを選ぶのは、モデルではなくバックエンドです。存在しない商品や売り切れの商品を、モデルがおすすめすることはできません。
- 両方のプロバイダーで JSON スキーマによる構造化出力
- カタログ部分はプロンプトキャッシュで 1 時間キャッシュ
- モデルが写真の分析を拒否したときのフォールバック
- 03
実行時に切り替えられる 2 つのプロバイダー
Anthropic Claude と OpenAI は、ひとつのプロバイダー層の背後にあります。管理者はデプロイせずに、ダッシュボードから使うプロバイダーを切り替えられます。プロバイダーに障害が起きたとき、価格が変わったとき、評価で負けたときに、これが効いてきます。
- Claude(effort パラメーターを使用)
- OpenAI Responses API(json_schema と reasoning effort を使用)
- 04
合格基準を先に決めた評価ハーネス
モデルを選ぶ前に、モデル × reasoning effort の組み合わせを、独立にラベル付けした写真で総当たりするハーネスを作りました。評価者間一致の上限に対する一致度、上位 2 件の重なり、程度の差が 1 段階以内に収まる割合、使えない回答の割合、そして実測したスキャン 1 回あたりのコストを出します。合格基準は、結果が出る前に文書にしておきました。
- 05
コストと悪用への対策
カメラを向けて使う AI 機能は、コストを狙った攻撃の対象にもなります。スキャンはすべて複数のクォータを通り、店舗ごとの 1 日の上限が、モデルにかかるコストの絶対的な天井になります。
- デバイスごとに 1 日 2 回まで無料。メールアドレスを確認するとボーナスあり
- /24 の IP 範囲ごとに 12 回
- 店舗ごとに 1 日 60 回
- 店内の QR コードには HMAC 署名付きトークン。キオスク端末は登録制
- 06
設計段階からのプライバシー保護
写真はメモリ上で処理され、保存されることはありません。メキシコの個人情報保護法(LFPDPPP)に沿った設計です。1 時間ごとに動く Celery ジョブが、スキャン後 14 日間の購入をスキャンと結び付けるので、誰の顔も残さずに、この機能が売上につながっているかを確認できます。
- 07
店舗に置くブース
USB カメラでフル解像度の撮影ができる、macOS 14 の SwiftUI キオスクアプリです。コード署名と公証を済ませ、DMG としてリリースできる状態です。完成はしていますが、2026 年 10 月時点ではまだ店舗に設置されていません。







- 肌分析機能のすべて:バックエンドモジュール、プロバイダー層、クォータ、評価ハーネス、ブースのアプリ(21 コミット中 21)
- オンラインストアが動いているコマースバックエンド(Logistika Urbana を参照)
- オンラインストア本体の 395 コミット中 134
- スキャン数、コンバージョン、評価でどのモデルが選ばれたかはクライアントのデータなので、ここには載せていません。
- オンラインストアは yoonlab.mx で公開されています。その裏にあるコードは非公開で、リンクもしていません。
- 私の仕事はモデルのデプロイと統合です。ここで使っている Vision モデルを学習させたのは私ではありません。
プラットフォーム、DevOps、AI プラットフォームのポジションなら、ぜひお話ししましょう。
AWS 上で本番システムを構築・運用し、その中でモデルをデプロイ・運用しています。シニアのプラットフォーム、DevOps、または AI プラットフォームのポジションを探しています。職務経歴書とリファレンスはご依頼に応じてお送りします。
- 役割
- シニア・プラットフォームエンジニア · バックエンド、DevOps、AWS インフラ
- 拠点
- パキスタン・ラホール
- 言語
- 英語(ビジネスレベル)· ウルドゥー語(ネイティブ)· 日本語(初級、毎日学習中)
- メール
- contact@codewithmuh.com