04 · AI によるポリシー・コンプライアンス分析 · 米国 SaaS

データサイエンスチームの GPU モデルを、マルチテナントのプロダクトに。

LexGuard AI は、企業のポリシーを分析してコンプライアンス上の抜け漏れを見つける、米国の AI SaaS スタートアップです。モデルを作ったのは同社のデータサイエンティストと AI エンジニアです。私はバックエンド、サーバー、デプロイを担当し、モデルをプロダクトで使えるようにする仕事をしました。非同期の GPU 推論、結果を取りこぼさない取り込み処理、そして顧客ごとに分けたデータベースです。
役割
リードバックエンドエンジニア(プラットフォーム & ML 統合)
期間
2025年10月 — 2026年4月
契約形態
リモート
チーム
社内の AI エンジニア、データサイエンティストと協働
拠点
米国 · ラホールからリモート
全 1,109 コミット中:6 か月でコントリビューター 1 位
338
メインのウェブアプリの 281 コミット中
274
台の GPU インスタンス、非同期エンドポイントのオートスケール
0 → 5
回:結果 1 件あたりのリトライ。加えて 5 分ごとのスイーパー
40

推定ではなく実数 · クライアントのビジネス指標は含みません

01背景

LexGuard のプロダクトは、企業のポリシーを読み込み、そこに含まれるルールを抽出し、抜け漏れを見つけ、異常を指摘します。分析を担うのは機械学習モデルで、その周りにシングルサインオン、課金、CRM 連携を備えたマルチテナントのウェブアプリケーションがあります。

私は 2025 年 10 月にリードバックエンドエンジニアとして参加しました。バックエンド、サーバー、デプロイを担当し、フロントエンドの多くも作り、AI エンジニアと協力してモデルを本番に載せました。

02課題

学習済みのモデルは、それだけではプロダクトになりません。1 台のマシン上のノートブックで、研究者が整えたとおりの形のデータを相手に動いているだけで、そのどれもが実際のユーザー、実際の文書、実際のリクエスト量には耐えられません。

ここでは文書が大きく、GPU 推論は遅くて高価で、しかも顧客ごとのデータを、ほかのすべての顧客のデータから分けておく必要がありました。

03アーキテクチャ
図 01ML 統合 · テナンシー
TENANTStenant atenant btenant cDjango APIdb router · celeryS3 staginginputs · outputsSAGEMAKER ASYNC · AUTOSCALE 0 → 5Qwen2.5-3B LoRArule extractorRoBERTa NERentity extractioncontinuation tokens · partial mergeCelery ingestionauto-save · 40 retries · sweeper5-minute sweeper re-queues pendingper-tenant anomaly detectionAURORA POSTGRESQLrds proxyddl endpointdb_adb_bdb_cdatabase per tenant · encrypted credentials
04構築したもの
  1. 012025年10月〜11月

    研究用パイプラインを ML API に

    データサイエンティストのパイプライン(ルール抽出、ギャップ分析、異常スコアリングのための sentence-transformers と FAISS)を、Django REST のサービスで包みました。Celery と Redis のワーカー、S3 での入出力、実行状況の追跡、root で動かない Docker イメージを備えています。

  2. 022026年1月〜4月

    大きな文書にも対応する非同期 GPU 推論

    AI エンジニアが、Qwen2.5-3B のルール抽出モデル(QLoRA アダプター)と RoBERTa の NER モデルを、0〜5 台の GPU インスタンスでスケールする SageMaker の非同期エンドポイントにデプロイしました。私はその統合部分を作りました。入力を S3 に置き、エンドポイントを非同期で呼び出し、結果をポーリングし、リトライし、タイムアウト時にはきれいに終わらせる処理です。

    • 1 回の呼び出しに収まらない大きな文書のための、継続トークンによるバッチ処理と部分結果のマージ
    • 呼び出しごとに 3 回のリトライと 10 分のタイムアウト
    • 最小権限の IAM:その 1 つのエンドポイントへの InvokeEndpoint と、必要な S3 プレフィックスだけ
  3. 03

    結果を取りこぼさない取り込み処理

    GPU の結果は遅れて届き、ときには失敗します。Celery が各結果を最大 40 回のリトライで保存し、5 分ごとに動くスイーパーが、保留中や失敗のまま残っているものを再びキューに入れます。異常検知はテナントごとに毎日実行されます。

  4. 042026年2月〜4月

    テナントごとのデータベース

    テナントごとにデータベースを分ける分離を実装しました。現在の会社に応じて切り替わる Django のデータベースルーター、Aurora PostgreSQL 上でのテナント用データベースの非同期プロビジョニング(共有クラスターと専用クラスターの 2 つのプラン)、アプリケーションのトラフィックには RDS Proxy、スキーマ変更には直接エンドポイント、暗号化したデータベース認証情報、そしてデプロイ時に全テナントへ実行されるマイグレーションです。

  5. 05

    サーバーとデプロイ

    ステージングと本番のコンテナビルド(Uvicorn ワーカーで動く Gunicorn、Celery の worker・beat・Flower、AOF 永続化を有効にした Redis、ヘルスチェックとリソース制限)と、メモリとディスクのチェック、マイグレーション、ヘルスチェックのポーリング、キャッシュのウォームアップを行う GitHub Actions のデプロイを作りました。前段には Nginx と Cloudflare、フロントエンドは AWS Amplify です。

05技術スタック
サービス
PythonDjango 5Django REST FrameworkCelery + beatRedisPostgreSQLAurora PostgreSQLRDS Proxy
ML 統合
SageMaker 非同期推論S3IAMQwen2.5-3B (QLoRA)RoBERTa NERsentence-transformersFAISS
プラットフォーム
DockerGitHub ActionsNginxCloudflareAWS Amplify
プロダクト
ReactViteAzure AD SSOStripe
06私の担当
  • バックエンド、サーバー、デプロイ、そしてフロントエンドの多く
  • バックエンドのコントリビューター 1 位:2025 年 10 月から 2026 年 4 月までの 1,109 コミット中 338
  • メインのウェブアプリの 281 コミット中 274
  • AI エンジニアと協力し、モデルを本番運用できる形にしてプラットフォームに統合
07レビューする方へ
  • モデルの学習も、SageMaker エンドポイントの構築も、私ではありません。それらは AI エンジニアが構築・デプロイしました。私の担当は本番化と統合です。
  • SYBAL のコードは非公開で、リンクもしていません。
→採用担当の方へ

プラットフォーム、DevOps、AI プラットフォームのポジションなら、ぜひお話ししましょう。

AWS 上で本番システムを構築・運用し、その中でモデルをデプロイ・運用しています。シニアのプラットフォーム、DevOps、または AI プラットフォームのポジションを探しています。職務経歴書とリファレンスはご依頼に応じてお送りします。

役割
シニア・プラットフォームエンジニア · バックエンド、DevOps、AWS インフラ
拠点
パキスタン・ラホール
言語
英語(ビジネスレベル)· ウルドゥー語(ネイティブ)· 日本語(初級、毎日学習中)
メール
contact@codewithmuh.com