【2024年最新】共通テストを色んな生成AIに解かせてみた（ChatGPT vs Bard vs Claude2）

概要

実験方法

• 文字と表はテキスト化する
• Google Documentの文字起こし機能と、マークダウン形式による特殊記号や表をテキスト化を活用します

• グラフや図は、テキスト化するor画像ファイルに変換する

実験結果

• 赤字は受験者平均点(河合塾予想)を超えた箇所

苦手なパターン

• 順序並び替え問題
• 年代を特定することはできたが並び替えができなかった

• 図表の読み取り問題
• 「入力された図表を読み取る」「得られた情報をもとに問題を解く」というプロセス一つ一つはどのAIも一定高い精度で実現できるが同時に求められると精度が落ちる