F**k You, Show Me The Prompt.

概要

• LLMのリクエスト部分をwrapしてくれるようなLibraryがたくさんあるが、結局どんなpromptが作られているのかを知らないと何が起きているのかわからない

• mitmproxyというProxy経由でリクエストを送るlibraryを利用してリクエストをinterceptしてpromotを取得する方法を提案

• 各ライブラリがどんなプロンプトを作っているか紹介

• Interleaving code and LLMs
• ルーティング、関数の実行、リトライ、チェーン処理など

• Re-Writing and constructing prompts
• 関数の定義やスキーマを表現する場合

• safer (ex: guardrails)

• deterministic (ex: guidance)

• structured (ex: instructor)

• resilient (ex: langchain)

• … or even optimized for an arbitrary metric (ex: DSPy).