The Impact of Reasoning Step Length on Large Language Models

概要

• LLMの推論のstep数を増やせば増やすほど、推論の正確性も上がるという研究報告

• 単純に“let’s think step by step, you must think more steps”のようなプロンプトを与えることでstep数を増やす手法でもかなりの性能向上が見られた。
• Zero-shotでも、Manual-CoTやAuto-CoTなどのFew-shotを超える結果も。

• その他、”Think of word”、”Read the question again”など5つの方法で推論ステップを増やす実験。
• 具体例は論文参照