The Impact of Reasoning Step Length on Large Language Models

 

概要

  • LLMの推論のstep数を増やせば増やすほど、推論の正確性も上がるという研究報告
  • 単純に“let’s think step by step, you must think more steps”のようなプロンプトを与えることでstep数を増やす手法でもかなりの性能向上が見られた。
    • Zero-shotでも、Manual-CoTやAuto-CoTなどのFew-shotを超える結果も。
  • その他、”Think of word”、”Read the question again”など5つの方法で推論ステップを増やす実験。
    • 具体例は論文参照
    •