LayerX 採用情報
/
📖
Media Bookmark List
/
LayerX Machine Learning勉強会
/
TOPIC
/
Dataflux Dataset for PyTorch
採用中ポジション一覧
カジュアル面談
採用中ポジション一覧
カジュアル面談
LayerX 採用情報
/
📖
Media Bookmark List
/
LayerX Machine Learning勉強会
/
TOPIC
/
Dataflux Dataset for PyTorch
Dataflux Dataset for PyTorch
2024/2/15
1:55
2024/2/15
8:06
概要
小さいファイルが複数GCSに入っている時にlocalに直接持って来ずにDataLoaderを高速化できるライブラリ。textデータとかだと良さそう
こんな感じでかける
GCS Compose API
を使って、小さいobjectをconcatしたり、並列でlistingしたりしているらしい。
Post on X