Intriguing Properties of Quantization at Scale

概要

• 大きなモデルは必要なコンピューターリソースが莫大であり、量子化はその問題に対する解決法のひとつである。

• 一方で、大きなモデルほど量子化による性能劣化の影響が大きいという問題がある。

• 大きなモデルでも性能劣化を抑えたうえで量子化を行う方法（ハイパラの調整）についての実験。