WinproのMLOps(AWS SageMaker)
概要
- Wipro(ITコンサル)が顧客に提案したAWSのMLOps例の紹介
- ユースケース
- 中古車データセットに基づく価格予測(回帰タスク)
- SageMaker組み込みのXGBoost と Linear Learner(線形学習)モデルを使用
- SageMaker ノートブックで実験
- GitHubコミットで学習パイプラインが動く
- 学習パイプライン
- StepFunctionsでジョブ管理
- SageMaker Processing Jobで前処理
- SageMaker Traning Jobで学習
- SageMaker Model Registryでモデル管理
- SageMaker Endpointにデプロイ
- バッチスコアリング
- SageMaker Processing Jobで前処理・推論・スコアリング
- SageMaker バッチ変換機能で推論結果とlabelのマージ処理をしたりする
- リアルタイム推論
- アプリから叩かれたLambdaがエンドポイントを叩いて推論
- モニタリングパイプライン
- 目的: データ ドリフトとモデル ドリフトの検知
- スケジュールで定期実行
- プロダクトの新規データを検知
- Glue Bookmarkingを利用して未加工のデータを検知
- SageMaker Model Monitorでデータドリフト・モデルドリフトの検知
- 結果をQuickSightダッシュボードにも反映