WinproのMLOps(AWS SageMaker)

概要

• Wipro（ITコンサル）が顧客に提案したAWSのMLOps例の紹介

• ユースケース
• 中古車データセットに基づく価格予測（回帰タスク）
• SageMaker組み込みのXGBoost と Linear Learner（線形学習）モデルを使用

1. SageMaker ノートブックで実験

2. GitHubコミットで学習パイプラインが動く

3. 学習パイプライン
1. StepFunctionsでジョブ管理
2. SageMaker Processing Jobで前処理
3. SageMaker Traning Jobで学習
4. SageMaker Model Registryでモデル管理
5. SageMaker Endpointにデプロイ

4. バッチスコアリング
1. SageMaker Processing Jobで前処理・推論・スコアリング
2. SageMaker バッチ変換機能で推論結果とlabelのマージ処理をしたりする
1. https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/batch-transform-data-processing.html

5. リアルタイム推論
1. アプリから叩かれたLambdaがエンドポイントを叩いて推論

6. モニタリングパイプライン
1. 目的: データ ドリフトとモデル ドリフトの検知
2. スケジュールで定期実行
3. プロダクトの新規データを検知
1. Glue Bookmarkingを利用して未加工のデータを検知
4. SageMaker Model Monitorでデータドリフト・モデルドリフトの検知
5. 結果をQuickSightダッシュボードにも反映