The Impact of Reasoning Step Length on Large Language Models
概要
- LLMの推論のstep数を増やせば増やすほど、推論の正確性も上がるという研究報告
- 単純に“let’s think step by step, you must think more steps”のようなプロンプトを与えることでstep数を増やす手法でもかなりの性能向上が見られた。
- Zero-shotでも、Manual-CoTやAuto-CoTなどのFew-shotを超える結果も。
- その他、”Think of word”、”Read the question again”など5つの方法で推論ステップを増やす実験。
- 具体例は論文参照