04 · AI によるポリシー・コンプライアンス分析 · 米国 SaaS
データサイエンスチームの GPU モデルを、マルチテナントのプロダクトに。
- 役割
- リードバックエンドエンジニア(プラットフォーム & ML 統合)
- 期間
- 2025年10月 — 2026年4月
- 契約形態
- リモート
- チーム
- 社内の AI エンジニア、データサイエンティストと協働
- 拠点
- 米国 · ラホールからリモート
- 全 1,109 コミット中:6 か月でコントリビューター 1 位
- 338
- メインのウェブアプリの 281 コミット中
- 274
- 台の GPU インスタンス、非同期エンドポイントのオートスケール
- 0 → 5
- 回:結果 1 件あたりのリトライ。加えて 5 分ごとのスイーパー
- 40
推定ではなく実数 · クライアントのビジネス指標は含みません
LexGuard のプロダクトは、企業のポリシーを読み込み、そこに含まれるルールを抽出し、抜け漏れを見つけ、異常を指摘します。分析を担うのは機械学習モデルで、その周りにシングルサインオン、課金、CRM 連携を備えたマルチテナントのウェブアプリケーションがあります。
私は 2025 年 10 月にリードバックエンドエンジニアとして参加しました。バックエンド、サーバー、デプロイを担当し、フロントエンドの多くも作り、AI エンジニアと協力してモデルを本番に載せました。
学習済みのモデルは、それだけではプロダクトになりません。1 台のマシン上のノートブックで、研究者が整えたとおりの形のデータを相手に動いているだけで、そのどれもが実際のユーザー、実際の文書、実際のリクエスト量には耐えられません。
ここでは文書が大きく、GPU 推論は遅くて高価で、しかも顧客ごとのデータを、ほかのすべての顧客のデータから分けておく必要がありました。
- 012025年10月〜11月
研究用パイプラインを ML API に
データサイエンティストのパイプライン(ルール抽出、ギャップ分析、異常スコアリングのための sentence-transformers と FAISS)を、Django REST のサービスで包みました。Celery と Redis のワーカー、S3 での入出力、実行状況の追跡、root で動かない Docker イメージを備えています。
- 022026年1月〜4月
大きな文書にも対応する非同期 GPU 推論
AI エンジニアが、Qwen2.5-3B のルール抽出モデル(QLoRA アダプター)と RoBERTa の NER モデルを、0〜5 台の GPU インスタンスでスケールする SageMaker の非同期エンドポイントにデプロイしました。私はその統合部分を作りました。入力を S3 に置き、エンドポイントを非同期で呼び出し、結果をポーリングし、リトライし、タイムアウト時にはきれいに終わらせる処理です。
- 1 回の呼び出しに収まらない大きな文書のための、継続トークンによるバッチ処理と部分結果のマージ
- 呼び出しごとに 3 回のリトライと 10 分のタイムアウト
- 最小権限の IAM:その 1 つのエンドポイントへの InvokeEndpoint と、必要な S3 プレフィックスだけ
- 03
結果を取りこぼさない取り込み処理
GPU の結果は遅れて届き、ときには失敗します。Celery が各結果を最大 40 回のリトライで保存し、5 分ごとに動くスイーパーが、保留中や失敗のまま残っているものを再びキューに入れます。異常検知はテナントごとに毎日実行されます。
- 042026年2月〜4月
テナントごとのデータベース
テナントごとにデータベースを分ける分離を実装しました。現在の会社に応じて切り替わる Django のデータベースルーター、Aurora PostgreSQL 上でのテナント用データベースの非同期プロビジョニング(共有クラスターと専用クラスターの 2 つのプラン)、アプリケーションのトラフィックには RDS Proxy、スキーマ変更には直接エンドポイント、暗号化したデータベース認証情報、そしてデプロイ時に全テナントへ実行されるマイグレーションです。
- 05
サーバーとデプロイ
ステージングと本番のコンテナビルド(Uvicorn ワーカーで動く Gunicorn、Celery の worker・beat・Flower、AOF 永続化を有効にした Redis、ヘルスチェックとリソース制限)と、メモリとディスクのチェック、マイグレーション、ヘルスチェックのポーリング、キャッシュのウォームアップを行う GitHub Actions のデプロイを作りました。前段には Nginx と Cloudflare、フロントエンドは AWS Amplify です。
- バックエンド、サーバー、デプロイ、そしてフロントエンドの多く
- バックエンドのコントリビューター 1 位:2025 年 10 月から 2026 年 4 月までの 1,109 コミット中 338
- メインのウェブアプリの 281 コミット中 274
- AI エンジニアと協力し、モデルを本番運用できる形にしてプラットフォームに統合
- モデルの学習も、SageMaker エンドポイントの構築も、私ではありません。それらは AI エンジニアが構築・デプロイしました。私の担当は本番化と統合です。
- SYBAL のコードは非公開で、リンクもしていません。
プラットフォーム、DevOps、AI プラットフォームのポジションなら、ぜひお話ししましょう。
AWS 上で本番システムを構築・運用し、その中でモデルをデプロイ・運用しています。シニアのプラットフォーム、DevOps、または AI プラットフォームのポジションを探しています。職務経歴書とリファレンスはご依頼に応じてお送りします。
- 役割
- シニア・プラットフォームエンジニア · バックエンド、DevOps、AWS インフラ
- 拠点
- パキスタン・ラホール
- 言語
- 英語(ビジネスレベル)· ウルドゥー語(ネイティブ)· 日本語(初級、毎日学習中)
- メール
- contact@codewithmuh.com