Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

概要

• “Step-Back Prompting”というプロンプトエンジニアリング手法についてのDeepMind社の研究

• “Stepback Question”というオリジナルの質問から派生させた抽象的な（対象を広げたり、概念や法則に関する）質問を最初に行ってから、その回答をもとにオリジナルの質問に回答させる。
• 「理想期待において温度を2倍、体積を8倍にすると圧力Pはどうなるか？」 → 「この質問の背景にある物理法則はなんでしょう？」
• 「Estella Leopold’sは1954年の8月から1954年の11月までどこの学校に行っていた？」 → 「Estella Leopold’sの学歴は？」

• 実験の結果、CoTやTDBなどのよく知られているプロンプトエンジニアリング手法よりも高い性能を示した。
• タスク
• STEM: 高校物理、化学など
• Knowledge QA: 知識ベースの質問、特定の期間の出来事についての質問、場所についての質問
• Multi-Hop Reasoning: 多段階推論
• モデル
• PaLM-2L
• GPT-4
• プロンプトエンジニアリング手法
• Chain of Thought: 「ステップバイステップで取り組んでください」
• Take a Deep Breathe: 「深呼吸してから取り組んでください」