今週のTOPIC

[model] TB-OCR: an end-to-end OCR model handling text, math latex, and markdown formats all at once

• テキストブロックを入力とし、MarkDownを出力するモデル。(MITライセンス)

• 4bitで実行すると、ロードに～2.8GBのVRAMしか必要とせず、ほとんど劣化がない。

• モデルはPhi-3.5-visionを用いて実装されている。
• https://github.com/microsoft/Phi-3CookBook/blob/main/md/04.Fine-tuning/FineTuning_Vision.md を用いて実装したらしい

• 実際にはフルページに対して実行することは期待されていないので、同じ作者のTFT-IDを使って図表やテキストブロックを見つけ、それに対して実行するような設計になっている。

[OSS] kotaemon: An open-source clean & customizable RAG UI for chatting with your documents. Built with both end users and developers in mind.

• live demo
Kotaemon - a Hugging Face Space by cin-model
Discover amazing ML apps made by the community
https://huggingface.co/spaces/cin-model/kotaemon-demo

• sample

[slide] LLMに日本語テキストを学習させる意義

4パターン35種類のLLMの日本語特有の問題に対する性能評価を通じて、日本語テキストを学習させることの効果と意義について分析したレポート

 

RTMDet: An Empirical Study of Designing Real-Time Object Detectors

0. 概要

• YOLOのリアルタイム性を向上 → 高速化、軽量化
• NVIDIA3090で300FPS以上、COCOで52.8%AP
YOLOとは
• Single-stateの物体検出モデル
• 仕組み
• グリッドに分割
• それぞれのグリッドで5つの要素を予測(中心(x, y)と幅(w)と高さ(h )と信頼度(F) を予測
• ‣
• ‣

• 動的ラベル割り当て時にSoftラベル(後述)

• YOLOが対応していなかったタスクに対応
• Instance segmentation



Ch. 9 - Object detection and segmentation. (n.d.). https://manipulation.csail.mit.edu/segmentation.html
 
• Rotated object detection



Zhang, L., Wang, H., Wang, L., Pan, C., Liu, Q., & Wang, X. (2021). Constraint loss for rotated object detection in remote sensing images. Remote Sensing, 13(21), 4291. https://doi.org/10.3390/rs13214291
 

In this paper, we aim to design an efficient real-time object detector that exceeds the YOLO series and is easily extensible for many object recognition tasks such as instance segmentation and rotated object detection. To obtain a more efficient model architecture, we explore an architecture that has compatible capacities in the backbone and neck, constructed by a basic building block that consists of large-kernel depth-wise convolutions. We further introduce soft labels when calculating matching costs in the dynamic label assignment to improve accuracy. Together with better training techniques, the resulting object detector, named RTMDet, achieves 52.8% AP on COCO with 300+ FPS on an NVIDIA 3090 GPU, outperforming the current mainstream industrial detectors. RTMDet achieves the best parameter-accuracy trade-off with tiny/small/medium/large/extra-large model sizes for various application scenarios, and obtains new state-ofthe-art performance on real-time instance segmentation and rotated object detection. We hope the experimental results can provide new insights into designing versatile real-time object detectors for many object recognition tasks. Code and models are released at https://github.com/open-mmlab/mmdetection/tree/3.x/configs/rtmdet

本論文では、YOLOシリーズを超える効率的なリアルタイム物体検出器を設計することを目的とし、インスタンス分割や回転物体検出などの多くの物体認識タスクに対して容易に拡張可能である。より効率的なモデルアーキテクチャを得るために、大カーネルの深さ方向の畳み込みからなる基本構成ブロックによって構築される、バックボーンとネックに互換性のある能力を持つアーキテクチャを探索する。さらに、動的ラベル割り当てにおいてマッチングコストを計算する際にソフトラベルを導入し、精度を向上させる。RTMDetと名付けられたこの物体検出器は、より優れた学習技術とともに、NVIDIA 3090 GPU上で、COCOにおいて52.8%のAPを300以上のFPSで達成し、現在主流の産業用検出器を凌駕している。RTMDetは、様々なアプリケーションシナリオにおいて、極小/小/中/大/超大のモデルサイズで最良のパラメータと精度のトレードオフを達成し、リアルタイムのインスタンス分割と回転物体検出で新たな最先端性能を得る。この実験結果が、多くの物体認識タスクに対応する汎用的なリアルタイム物体検出器の設計に新たな知見を与えることを期待している。コードとモデルは https://github.com/open-mmlab/mmdetection/tree/3.x/configs/rtmdet で公開されている。

1. イントロ

• YOLOの精度を向上させ、高速化する手法として、RTMDetというモデルを提案
• Instance segmentationとRotated object detectionの2つのタスクに対応可能に
• large-kernel depth-wise convolutionsというレイヤーに変更
• Softラベルによる動的ラベル割り当て

• 高精度を保ちつつ高速化した方法
• large-kernel depth-wise convolution
• → Backbone and Neck
• ‣
• CNNsと、ViTsやSwin Transformerの精度のギャップは、受容野の大きさによって生まれる(ViTsやSwin Transformer は大きいので精度が良い)のではないかという仮説から生まれた、CNNの計算量(FLOPs)を抑えたまま、大きなカーネルを実現するための手法を提案する論文
• better optimization with soft labels in the dynamic label assignment

• 結果
• モデルサイズと精度のトレードオフで優れている

• Instance segmentation: 10%ほどの追加パラメーターで実装

• Rotated object detection: Box regression 層の次元を4から5にするだけ(角度予測を追加)

2. 関連研究

効果的なアーキテクチャ

• アンカーベース vs アンカーフリー
• アンカーベース: グリッドごとに物体を含むか予測
• アンカーフリー: グリッドなどを使わず予測。シンプルで早くなることが多い

• ワンステージ vs ツーステージ
• ワンステージ: スピードで勝ることが多い
• ツーステージ: 大雑把に検出してから、きれいで正確な値をもう1度予測する

• モデル訓練後の Re-Parameterization
• 複数の並列で並んでいる層を統合して1つに
• ‣

ラベル割り当て

• BinaryラベルからSoftラベルに

• 先駆的研究として、IoUを使ってマッチしているか検証する方法がある

• その後、Hungarian Assignment にインスパイアを受けた動的ラベル割り当て
• 参考:
• ‣
• ‣

• 損失関数をマッチングに使うこれまでの方法と異なり、Softラベルをマッチングに使う。
• マッチング結果の良い結果と悪い結果の差を増やし、訓練の安定さを増し、収縮性を速くするため









• (1) Classification コスト、Regressionコスト、Soft center regionコストを全ての総和をコストとして扱う
• (2) Softラベルを用いてコストを計算する。
• (3) GIoUではなく、IoUの対数をコストとして用いる。
• (4) fixed centerではなくsoft center regionコストを用いる。

Instance Segmentation

• 手法
• Mask分類: マスクを直接予測
• Top-Down Approach

• 従来
• 同じクラスに属する複数のオブジェクトを区別することは難しかった。

• 活用(論文外も参考)
• 自動運転
• 医療画像
• 監視
• 人数の検出
• 渋滞の検出
• リテール分析

Rotated Object Detection

• 活用(論文外も参考)
• 航空画像認識
• 人を写す写真の場合、人の向きは大体一緒
• しかし、航空画像だと、建物や車の向きのバリエーションも多い。また、細長いオブジェクトだと、bbox内のオブジェクトがない領域が大きくなり過ぎてしまうことがある。



Howe, J. (2022, August 21). Detecting rotated objects using the NVIDIA Object Detection Toolkit | NVIDIA Technical Blog. NVIDIA Technical Blog. https://developer.nvidia.com/blog/detecting-rotated-objects-using-the-odtk/
 
• 製造業
• 工場のコンベヤーベルト上を流れる製品の向き

3. 手法

モデル(3.1, 3.2)

• アーキテクチャ

• 大きな受容野 → CNNカーネルサイズを大きく
• ブロック数を減少させ、ブロックの幅は増やす。

• 共有検出ヘッド
• 各スケールでヘッドを共有することで、全体のパラメーター数を減少
• そのために異なるバッチ正規化層を追加

トレーニング戦略 (3.3)

• Soft labels in the dynamic label assignment

The soft classification cost in assignment not only reweights the matching costs with different regression qualities but also avoids the noisy and unstable matching caused by binary labels.

• Binaryラベルではなく、Softラベルを使うことで、ノイズを回避できた。

• 2段階のdata augmentation
mmdetでconfigから指定できる。
1段階目:
2段階目:
• 違い
• 2に がない
‣
• 1の は (1280, 1280) だが2は (640, 640)
• 2に がない
‣
training stage 1から2に切り替え

4. 実験結果

訓練

• Object detection と Instance segmentation
• COCO dataset [48]
• train: 118K images in the train2017
• val: 5k images in the val2017
• Input size: 640 x 640
• 8 NVIDIA A100 GPUs

• Rotated object detection
• DOTA dataset
• 2.8Kの航空画像(aerial images)
• 188K instances obtained from different sensors with multiple resolutions.
• Input size: 1024 x 1024
• GPU
• Large Model: 2 NVIDIA V100 GPUs
• それ以外: 1 NVIDIA V100 GPU

結果

Table 2. Comparison of RTMDet with previous practices on the number of parameters, FLOPS, latency, and accuracy on COCO val2017 set. For a fair comparison, all models are trained for 300 epochs without using extra detection data or knowledge distillation. The inference speeds of all models are measured in the same environment. (LB) means LetterBox resize proposed in [25]. The results of the proposed RTMDet are marked in gray. The best results are in bold

• TRMDet-tiny: 同様のサイズのモデルより5ポイント AP が高い

• RTMDet-Ins-x: 44.6% mask AP
• YOLOv5-seg-x を 3.2 ポイント上回る。

• RTMDet-R-l: 81.33% mAP (Multi-scale training)
• DOTA-v1.0の新記録

5. 結論

• RTMDetとは、YOLOをベースに精度を維持したまま高速化を実現したモデル。

• Instance SegmentationとRotated object detection

• とくに効果があった手法として
• 新しいアーキテクチャ (+1.2)
• large-kernel depth-wise convolution
• ラベル割り当てと損失関数を変更 (+1.1)
• Softラベル
• 動的ラベル割り当て
• Data augmentationsの改善 (+1.3)
• CachedMosaic
• CachedMixUp