Meta's new LLM-based test generator is a sneak peek to the future of development

概要

• 元の論文はこちら

• Assured LLM-based Software EngineeringというメタのコードベースでファインチューンされたLLM

• copilotとかもテストを生成してくれるが、参照してくれるソースが少なかったりするのでなかなか網羅的なテスト生成には向いていない

• LLMベースのテスト生成のメリットとしてはほとんど発生しないであろう見落とされがちなケースを拾ってくれること。コード自体は完璧ではないかもしれないが、ケースを拾ってくれるだけで価値はある。

• propmtの例

• instagramで実験してみた



• 平均して2.5行の追加だったが中には1,326行を追加するようなケースもあった

• アーキテクチャ