F**k You, Show Me The Prompt.
![](https://s3.ap-northeast-1.amazonaws.com/wraptas-prod/layerx/7920367b-c7ba-4372-802e-dc16b44cf148/a9a6c4af163b19c3e89cd2177a8b1d88.png)
概要
- LLMのリクエスト部分をwrapしてくれるようなLibraryがたくさんあるが、結局どんなpromptが作られているのかを知らないと何が起きているのかわからない
- mitmproxyというProxy経由でリクエストを送るlibraryを利用してリクエストをinterceptしてpromotを取得する方法を提案
- 各ライブラリがどんなプロンプトを作っているか紹介
ライブラリは大きく二種類
- Interleaving code and LLMs
- ルーティング、関数の実行、リトライ、チェーン処理など
- Re-Writing and constructing prompts
- 関数の定義やスキーマを表現する場合
各種ライブラリ
- safer (ex: guardrails)
- deterministic (ex: guidance)
- structured (ex: instructor)
- resilient (ex: langchain)
- … or even optimized for an arbitrary metric (ex: DSPy).
Guardrailsの場合
- code
- output
- prompt
Guidanceの場合
- code
- prompt