F**k You, Show Me The Prompt.
概要
- LLMのリクエスト部分をwrapしてくれるようなLibraryがたくさんあるが、結局どんなpromptが作られているのかを知らないと何が起きているのかわからない
- mitmproxyというProxy経由でリクエストを送るlibraryを利用してリクエストをinterceptしてpromotを取得する方法を提案
- 各ライブラリがどんなプロンプトを作っているか紹介
ライブラリは大きく二種類
- Interleaving code and LLMs
- ルーティング、関数の実行、リトライ、チェーン処理など
- Re-Writing and constructing prompts
- 関数の定義やスキーマを表現する場合
各種ライブラリ
- safer (ex: guardrails)
- deterministic (ex: guidance)
- structured (ex: instructor)
- resilient (ex: langchain)
- … or even optimized for an arbitrary metric (ex: DSPy).
Guardrailsの場合
- code
- output
- prompt
Guidanceの場合
- code
- prompt