2023-08-17 ML勉強会

About the author

• Richmond Alake

• Machine Learning Content Creator and Computer Vision Engineer. Interested in gaining and sharing knowledge on Technology and Finance.

• https://twitter.com/richmondalake

概要

• 機械学習設計やアーキテクチャという言葉は何を意味するのか、またMLパイプラインの仕組みのような複雑なソフトウェアシステムは、どのようにすれば効率的に動作するのかを以下の問いに答えながら説明する。

1. パイプライン・アーキテクチャと設計の考察とは何か？

2. 著名な技術系企業における標準的なMLパイプライン/システム設計とアーキテクチャのプラクティスの探求

3. 一般的なMLパイプラインアーキテクチャ設計パターンの解説

4. MLパイプラインの一般的なコンポーネントの紹介

5. MLパイプラインの実装と保守に使用されるツール、テクニック、ソフトウェアの紹介

6. MLパイプラインアーキテクチャの例

7. MLパイプラインを設計・開発する際に考慮すべき一般的なベストプラクティス

What are ML pipeline architecture design patterns?

• Efficiency：MLパイプラインのアーキテクチャと設計のパターンを理解することで、実務者はプロジェクトを迅速に提供するために必要な技術リソースを特定することができます。

• Scalability： MLパイプラインのアーキテクチャと設計パターンを理解することで、スケーラビリティを優先し、スケーラビリティファーストのアプローチでMLシステムを構築することができます。これらのパターンは、大量のデータに対するモデルのトレーニング、低レイテンシーのモデル推論などに対処するソリューションを紹介します。

• Templating and reproducibility: 典型的なパイプラインのステージとコンポーネントは、使い慣れたパターンを利用してチーム間で再現可能になり、メンバーはMLプロジェクトを効率的に複製できるようになります。

• Standardization：MLパイプラインのアーキテクチャと設計に同じパターンを利用する組織は、組織全体でパイプラインの更新と保守をより容易に行うことができます。

Common ML pipeline architecture steps

1. Data Ingestion (e.g., Apache Kafka, Amazon Kinesis)

2. Data Preprocessing (e.g., pandas, NumPy)

3. Feature Engineering and Selection (e.g., Scikit-learn, Feature Tools)

4. Model Training (e.g., TensorFlow, PyTorch)

5. Model Evaluation (e.g., Scikit-learn, MLflow)

6. Model Deployment (e.g., TensorFlow Serving, TFX)

7. Monitoring and Maintenance (e.g., Prometheus, Grafana)

10 ML pipeline architecture examples

Single leader architecture

• Single leader architectureは個々のコンポーネントからなる管理可能なインフラストラクチャを提供しながら、大規模に動作するように設計された機械学習パイプラインを開発する際に活用されるパターン（機械学習システムだけでなく、データベースシステム、ストリーミングプラットフォーム、ウェブアプリケーション、最新のコンピューティングインフラストラクチャでも見られる）

• リーダーはシステム全体の状態を把握し、リソースの可用性に応じてタスクの実行と分散を管理し、書き込み操作を処理する。フォロワーは主に読み取り処理を実行する。

• MLパイプラインのコンテキストでは、リーダーノードは、様々なタスクの実行をオーケストレーションし、リソースの可用性に基づいてフォロワーノード間でワークロードを分配し、システム全体の状態を管理する責任を負う。一方、フォロワーノードは、データの前処理、特徴抽出、モデルのトレーニング、検証など、リーダーノードが割り当てるタスクを実行する。

• Netflixのエンジニアリング・チーム内では、ML/データ・パイプライン内のワークフローを管理、オーケストレーション、スケジューリング、実行するためにMesonが構築されている

• MesonはMLパイプラインのライフサイクルを管理し、レコメンデーションやコンテンツ分析などの機能を提供し、Single Leader Architectureを活用している

• Mesonには70,000のワークフローがスケジュールされ、毎日500,000以上のジョブが実行されている

• Mesonの中で、リーダーノードはフォロワーノードに割り当てられた各ジョブの実行状態を追跡・管理し、失敗したジョブを特定して修正することで故障耐性を提供し、ジョブの実行とスケジューリングを処理する

• メリット
• フォールトトレランス、スケーラビリティ、一貫性、分散化
• 1つのノードまたはシステムの一部がワークフローのオペレーションと管理を担当するため、single leader architectureを採用したパイプライン内の障害箇所を特定するのは簡単
• ジョブの実行をリダイレクト/再分配し、MLパイプライン全体のデータと状態の一貫性を提供し、すべてのプロセスの単一の真実のソースとして機能することで、予期しない処理の失敗に効果的に対処可能
• single leader architectureを採用したMLパイプラインは、フォロワーノードの数を増やすことで、読み取り処理を追加するために水平方向に拡張することができます。

• デメリット
• シングルリーダーアーキテクチャ内の書き込みスケーラビリティは制限されており、この制限はジョブ/ワークフローのオーケストレーションと管理全体のスピードのボトルネックとして機能する可能性がある。
• すべての書き込み操作はアーキテクチャ内の単一のリーダーノードによって処理されるため、読み取り操作は水平方向に拡張できますが、リーダーノードによって処理される書き込み操作は比例して拡張されないか、まったく拡張されないことになります。
• 単一リーダー・アーキテクチャは、リーダー・ノードに障害が発生した場合、大幅なダウンタイムが発生する可能性がある。このため、パイプラインの可用性に問題が発生し、リーダー・ノードに依存するアーキテクチャのため、システム全体の障害が発生する。
 

• Mesonではトラフィックの増加時に遅くなるといった問題があり、Maestroというhared-nothing architectureを採用し、数百万ものワークフローとステップインスタンスの状態を同時に水平スケールで管理するシステムに移行した

Directed acyclic graphs (DAG)

• 有向グラフは、node、edge、directionで構成される。nodeはプロセスを表し、edgeはプロセス間の関係を表し、edgeのdirectionはグラフ内のプロセス実行またはデータ/信号転送の流れを意味する。

• UberやLyftのようなライドヘイリングアプリでは、アクティビティ、タスク、またはジョブのシーケンスをノードとして扱い、各ノードを接続する有向辺は実行順序またはフローとして扱うことができる
• 例えば、ユーザーがアプリを通じてドライバーをリクエストした後、ドライバーはユーザーの場所に向かう。

• さらに、NetflixのMaestroプラットフォームは、機械学習/データパイプライン内のワークフローをオーケストレーションおよび管理するためにDAGを使用している。ここで、DAGは、ステップと呼ばれ、実行される操作のジョブ定義を具現化する単位からなるワークフローを表す。

• DAGのこの主な特徴は、複雑なMLパイプラインにおけるワークフローの実行の定義を、特にMLパイプライン内のプロセス、ジョブ、または操作の間に高いレベルの依存関係がある場合に、より管理しやすくすることを可能にする

• 例えば、上の図は、データの取り込み、前処理、特徴抽出、モデルのトレーニング、モデルの検証、予測を含む標準的なMLパイプラインを示す

• メリット
• DAGを使用することで、ビッグデータ分析、機械学習、人工知能など、タスクの依存関係や実行順序が重要な様々なアプリケーションにおいて、プロセスやタスクを効率的に実行することができます。DAGのトポロジー的順序付けは、アクティビティの正しい順序を保証するため、よりスムーズなプロセスフローを促進する。
• NetflixのMaestroのような機械学習パイプラインにとって、DAGはプロセス操作の順序を説明し整理する論理的な方法を提供する。DAG表現のノードは、データ取り込み、データ前処理、特徴抽出などの標準的なコンポーネントやステージに対応する。
• 有向エッジは、プロセス間の依存関係とプロセスの実行順序を示す。この機能により、すべての処理が正しい順序で実行されることが保証され、並列実行の機会も特定できるため、全体的な実行時間が短縮される。

• デメリット
• DAGによってモデル化された機械学習システムは、最終的に高いレベルの複雑さに達し、管理、理解、可視化が困難になる。
• 動的な環境やワークフローに適応して動作することが期待される最新の機械学習パイプラインでは、DAGはこれらのシステムやパイプラインのモデリングや管理には不向きである。

Foreach pattern

• foreachパターンは、データのコレクションやセットの中にアイテムが現れる回数だけ、コードの一部を繰り返し実行するコード実行パラダイム

• このパターンは、逐次的かつ再帰的に実行される機械学習パイプライン内のプロセス、コンポーネント、またはステージで特に有用である。これは、出力を提供し、次のプロセスやステージに進む前に、同じプロセスを一定回数実行できることを意味する。

• 例えば、標準的なデータセットは、同じデータ前処理スクリプトを通過して目的のデータ形式に変換されなければならない複数のデータから構成される。この例では、foreachパターンは、処理関数'n'を何回も繰り返し呼び出す方法として適している。通常、'n'はデータポイントの数に相当する。

• foreachパターンの別の応用例として、モデルの学習段階がある。モデルの学習にはデータセットの異なるパーティションを、テストには他のパーティションを、指定された時間だけ繰り返し使用する。

• foreachパターンの実際の応用例として、NetflixのML/データパイプラインオーケストレーター兼スケジューラーであるMaestroがある。Maestroのワークフローは、DAG（Directed Acyclic Graph）アーキテクチャで定義された順序で実行されるステップ/ジョブを含むジョブ定義で構成される。Maestroの内部では、foreachパターンが、定義されたステップ/ジョブで構成されるサブワークフローとして活用され、ステップが繰り返し実行される。

• 前述したように、foreachパターンはMLパイプラインのモデル学習段階で使用することができ、モデルは、指定された時間にわたって、学習用のデータセットとテスト用のデータセットの異なるパーティションに繰り返しさらされます。

• メリット
• DAGアーキテクチャとforeachパターンをMLパイプラインに利用することで、ロバストでスケーラブルで管理しやすいMLパイプラインソリューションが実現できる。
• foreachパターンは、データセットの前処理シナリオで処理関数を何度も呼び出すなど、各パイプラインステージで繰り返し処理を適用するために利用できます。
• この設定は、MLパイプラインにおける複雑なワークフローの効率的な管理を提供します。

• デメリット
• データや特徴処理のステージで foreach パターンを使用する場合、処理を実行する前にすべてのデータをメモリにロードする必要があります。これは、主に利用可能なメモリリソースを超えるような大量のデータを処理する場合に、計算パフォーマンスの低下につながる可能性がある。例えば、データセットが数テラバイトに及ぶようなユースケースでは、すべてのデータを同時にロードしようとすると、システムがメモリ不足に陥ったり、処理速度が低下したり、あるいはクラッシュしたりする可能性がある。
• データコレクション内の要素の実行順序にある。foreachパターンでは、一貫した実行順序や、データがロードされたのと同じ形式での順序は保証されない。foreachパターン内の一貫性のない実行順序は、データや機能が処理される順序が重要なシナリオで問題となる可能性がある。例えば、データポイントの順序がトレンドやパターンを理解する上で重要な時系列データセットを処理する場合、順序のない実行は不正確なモデルの学習や予測につながる可能性がある。

Embeddings

• embeddingは従来の機械学習パイプラインや最新の機械学習パイプラインに存在するデザインパターンであり、高次元データの低次元表現として定義され、データ固有の構造の主要な特徴、関係、特徴を捉えます。

• embeddingは通常、浮動小数点数のベクトルとして表現され、2つのエンベッディングベクトル間の関係や類似性は、様々な距離測定技術を用いて推測することができます。

• 機械学習では、埋め込みは、モデルの学習、計算効率、モデルの解釈可能性、次元削減など、様々な分野で重要な役割を果たします。

• Googleの主力製品であるGoogle検索は、その検索エンジンと推薦エンジンで埋め込みを活用し、高次元ベクトルをテキスト内の単語の意味的な意味を捉える低次元ベクトルに変換しています。これにより、検索クエリに対する検索結果の関連性に関する検索結果のパフォーマンスが向上する。

• OpenAIは、埋め込みに大きく依存するGPT-3のような生成AIモデルの進歩の最前線にいる。これらのモデルでは、埋め込みは入力テキスト内の単語やトークンを表し、単語間の意味的・構文的な関係を把握することで、モデルが首尾一貫した文脈に関連したテキストを生成することを可能にします。OpenAIは、エンベッディングを強化学習タスクにも使用しており、エンベッディングは環境の状態やエージェントの行動を表現します。

Data parallelism

• data parallelismとは複数のコンピューティングリソース（CPU, GPU, 大規模データセット）にアクセスできるようにすること。この戦略は、大規模なデータセットをより小さな塊に分割することを含む。

• 学習の開始時の初期パラメーターは全て揃えた状態で、それぞれのリソースはパラメーターや重みを更新し、バッチの処理がそれぞれ終了した段階で全てのリソース間でパラメーターの差分が同期され、トレーニング中もモデルのすべてのコピーが同期していることが保証される。

• data parallelismの現実のシナリオとして、Facebook AI Research (FAIR) Engineeringによる、完Fully Sharded Data Parallel (FSDP)システムという斬新なシステムによる研究がある。

• これは、大規模なAIモデルの学習プロセスを強化することを唯一の目的としている。FSDPは、AIモデルの変数をデータ並列演算子上に分散させる一方で、オプションで学習計算の一部をCPUにオフロードすることでこれを実現する。

• FSDPは、シャーディング・パラメーターに対する独自のアプローチによって、他とは一線を画している。FSDPは、よりバランスの取れたアプローチをとることで、優れたパフォーマンスを実現している。これは、トレーニング関連の通信と計算のオーバーラップを許可することで達成される。FSDPがエキサイティングなのは、非常に大きなモデルのトレーニングを最適化しながら、その過程で使用するGPUの数を少なくしている点だ。

• この最適化は、自然言語処理（NLP）やコンピュータ・ビジョンのような特殊な分野で、特に重要かつ価値あるものとなる。これらの分野では、大規模なモデル学習が要求されることが多い。

• データ並列の概念は、機械学習モデルの学習時間を短縮するための魅力的なアプローチである。 基本的な考え方は、データセットを細分化し、複数のCPUやGPUなど、さまざまなコンピューティング・プラットフォーム上でこれらの分割を同時に処理することである。その結果、利用可能なコンピューティング・リソースを最大限に活用することができる。

• プロセスやMLパイプラインにデータ並列性を組み込むことは困難です。例えば、多様なコンピューティング・リソース間でモデル・パラメータを同期させることは、複雑さを増しています。特に分散システムでは、この同期は通信レイテンシの問題に起因するオーバーヘッドコストが発生する可能性があります。

• さらに、データ並列性の有用性は、一部の機械学習モデルやデータセットにしか及ばないことに注意する必要がある。ある種のリカレント・ニューラル・ネットワークのように、逐次的な依存関係を持つモデルもあり、データ並列アプローチとは相性が悪いかもしれない。

Model parallelism

• モデル並列処理は、ディープラーニング・モデルが大きすぎてGPUやCPUの単一インスタンスで保持できない場合に、計算リソースを効率的に利用するために機械学習パイプライン内で使用される。この計算効率は、初期モデルをサブパートに分割し、それらのパートを異なるGPU、CPU、またはマシンに保持することで実現されます。

• Model parallelismは、モデルの異なる部分を異なるコンピューティングリソースにホスティングします。さらに、モデルの勾配の計算とトレーニングは、初期モデルのそれぞれのセグメントに対して、それぞれのマシンで実行されます。この戦略は、モデルが数十億のパラメータを含むほど大規模になり、単一のGPUでは保持・保存できないディープラーニングの時代に生まれました。

• 今日のディープラーニング・モデルは、内部パラメータ数が本質的に大きい。このため、MLパイプラインの学習・推論フェーズでモデル・パラメータを保持・計算するために、スケーラブルなコンピューティング・リソースが必要になる。例えば、GPT-3は1750億のパラメータを持ち、800GBのメモリ空間を必要とし、Metaによって作成されたLLaMAのような他の基礎モデルは、70億から700億のパラメータを持つ。

• これらのモデルは、トレーニング段階でかなりの計算資源を必要とする。モデルの並列性は、異なる計算リソース間でモデルの一部をトレーニングする方法を提供し、各リソースはトレーニングデータのミニバッチでモデルをトレーニングし、元のモデルの割り当てられた部分の勾配を計算します。

• メリット
• 大規模なモデルを扱い、訓練するための計算リソースの効率的な使用

• デメリット
• モデルのある部分の出力が別の部分の入力として使用されるため、初期モデルの部分を保持するマシン間で常に通信を行う必要がある。
• さらに、モデルのどの部分をセグメントに分割するかを理解するには、複雑なディープラーニング・モデルに対する深い理解と経験、そしてほとんどの場合、特定のモデルそのものが必要になる。

Federated learning

• Federated Learningは、プライバシーや機密データという視点も考慮しながら、機械学習によって可能になる革新的な進歩を実現しようとする分散学習のアプローチである。

• 比較的新しい手法であるFederated Learningは、デバイスやマシンにまたがってモデルの学習プロセスを分散させるため、データがマシンの構内から出る必要がない。その代わり、モデルの内部パラメーターの更新だけが中央サーバーに転送される。これは、デバイスに保存されているユニークなユーザー中心データを使ってモデルのコピーでトレーニングされたものである。この中央サーバーは、他のローカル・デバイスからのすべてのアップデートを蓄積し、中央サーバーに存在するモデルに変更を適用する。

• 分散機械学習へのFederated Learningアプローチでは、データが保存されているユーザーのデバイスやマシンを離れることがないため、ユーザーのプライバシーとデータは保護される。このアプローチは、データの機密性とアクセスが非常に優先されるMLパイプラインにおける戦略的なモデル学習方法である。これにより、ユーザーのデータをデバイス間やクラウド・ストレージ・ソリューションのような集中型システムに送信することなく、機械学習機能を実現することができる。

• メリット
• フェデレーテッド・ラーニングは、ユーザーのプライバシーを確保し、データを保全することで、組織をよりデータに優しい未来へと導く。

• デメリット
• 効率的な連合学習手順の実装を促進するために利用可能なツールやテクノロジーの数は限られている。
• 標準化されたMLパイプラインを持つ完全に成熟した組織で連合学習を採用するには、モデルのトレーニング、実装、評価に新しいアプローチを導入するため、多大な努力と投資が必要であり、既存のMLインフラストラクチャを完全に再構築する必要がある。
• さらに、中央モデルの全体的なパフォーマンスは、データの品質や伝送速度など、ユーザー中心のいくつかの要因に依存する。

Synchronous training

• 同期トレーニングは、複雑なディープラーニングモデルが異なる計算リソースに分割または分散され、トレーニングプロセス中に一貫性の要求が高まる場合に登場する機械学習パイプライン戦略である。

• この文脈では、同期トレーニングは、「ワーカー」と呼ばれるすべての独立した計算ユニット間の協調的な努力を伴います。各ワーカーはモデルのパーティションを保持し、均等に分散されたデータの一部を使用してパラメータを更新する。

• 同期トレーニングの主な特徴は、すべてのワーカーが同期して動作することである。つまり、どのワーカーも次の操作やトレーニングステップに進む前にトレーニングフェーズを完了しなければならない。

• 同期トレーニングは、トレーニングデータを計算リソースに均等に分配し、すべてのリソースの計算能力を均一化し、独立したリソース間で低レイテンシの通信を行う必要があるシナリオやユースケースに適しています。

• メリット
• 一貫性、均一性、精度の向上、シンプルさ
• すべてのワーカーは次のステップに進む前に自分のトレーニングフェーズを終了するため、すべてのユニットのモデルパラメータの一貫性が保たれます。
• 非同期手法と比較すると、同期トレーニングは、ワーカーが同期して均一な操作を行うことで、各ステップでのパラメータ更新のばらつきを抑えることができるため、多くの場合、優れた結果を達成することができる。

• デメリット
• 同期トレーニングでは、次のステップに進む前にすべての作業者がタスクを完了する必要があるため、時間効率の問題が生じる可能性がある。これは、特に異種コンピューティングリソースを持つシステムにおいて、非効率をもたらす可能性がある。

Parameter server architecture

• パラメータサーバーアーキテクチャは、ワーカーの相互依存、ストラテジーの実装の複雑さ、一貫性、同期といった分散機械学習の問題に取り組むために設計されている。

• このアーキテクチャはサーバーとクライアントの関係という原則に基づいており、「ワーカー」と呼ばれるクライアントノードには、データの処理、モデルパーティションの管理、定義された操作の実行といった特定のタスクが割り当てられている。

• 一方、サーバーノードは、更新されたモデルパラメータを管理・集約する中心的な役割を果たし、これらの更新をクライアントノードに伝達する役割も担っています。

• 分散機械学習システムのコンテキストでは、効率的かつ協調的な学習を促進するために、パラメータサーバアーキテクチャが使用されます。このアーキテクチャのサーバーノードは、分散システム全体でモデルのパラメータの一貫性を保証するため、複数のノードまたはワーカー間でモデルのパラメータを慎重に管理する必要がある大規模な機械学習タスクを処理するための実行可能な選択肢となります。

• メリット
• パラメータ・サーバー・アーキテクチャーは、主にサーバーとクライアント・ノードが明確に定義された責任を負うことにより、機械学習パイプラインとワークフロー内の高度な組織化を促進する。
• この明確な区別により、操作が簡素化され、問題解決が合理化され、パイプライン管理が最適化されます。
• モデルパラメーターの維持と一貫性をサーバーノードに集中させることで、すべてのクライアントノードやワーカーに最新の更新を確実に伝達し、モデルの出力のパフォーマンスと信頼性を強化します。

• デメリット
• 重大な欠点は、サーバーノードに依存していることから生じる、システム全体の故障に対する脆弱性である。
• その結果、サーバーノードに何らかの不具合が生じた場合、システム全体が機能不全に陥る可能性があり、このアーキテクチャに内在する単一障害点のリスクが浮き彫りになる。

Ring-AllReduce architecture

• Ring-AllReduceアーキテクチャは、最新の機械学習パイプラインで活用されている分散機械学習学習アーキテクチャである。これは、大規模なデータセットで学習する大規模で複雑な機械学習モデルにおいて、バックプロパゲーションによる勾配計算とモデルパラメータの更新を管理する方法を提供します。このアーキテクチャでは、各ワーカーノードにはモデルのパラメータと学習データのサブセットが提供される。

• 各ワーカは、それぞれ独立に、学習データのパーティションに対して逆伝播を行い、勾配を計算する。リングのような構造は、デバイス上の各ワーカが、他のすべての独立したワーカで行われた勾配更新を含むパラメータを持つモデルを持つことを保証するために適用される。

• これは、あるワーカーからリングの次のワーカーに勾配の合計を渡し、次のワーカーは自分の計算した勾配を合計に加え、次のワーカーに渡すことで実現されます。このプロセスは、すべてのワーカーがリング内のすべてのワーカーから集めた勾配の完全な合計を持つまで繰り返されます。

• Ring-AllReduceアーキテクチャは、分散機械学習トレーニングを含む様々な実世界のアプリケーション、特に膨大なデータセットを処理する必要があるシナリオで役立っていることが証明されています。例えば、FacebookやGoogleのような大手ハイテク企業は、機械学習パイプラインにこのアーキテクチャを組み込むことに成功している。

• フェイスブックのAIリサーチ（FAIR）チームは、分散ディープラーニングにRing-AllReduceアーキテクチャを利用し、モデルのトレーニング効率を高め、広範で複雑なデータセットを効果的に処理するのに役立っている。GoogleもこのアーキテクチャをTensorFlow機械学習フレームワークに組み込んでおり、ディープラーニングモデルの効率的なマルチノード学習を可能にしている。

• メリット
• 特に大規模なデータセットを扱う場合に、分散機械学習タスクを管理するための効率的な戦略である。計算リソースの最適な利用を保証することで、効果的なデータ並列処理が可能になる。各ワーカーノードはモデルの完全なコピーを保持し、データのサブセットに対する学習を担当します。
• Ring-AllReduceのもう1つの利点は、複数のデバイスにまたがるモデルパラメータの更新を集約できることです。各ワーカーはデータのサブセットで学習する一方で、他のワーカーによって計算された勾配更新の恩恵も受けます。
• このアプローチにより、モデルの学習フェーズが高速化され、機械学習パイプラインのスケーラビリティが向上するため、需要の増加に応じてモデル数を増やすことができます。