ChatGPT-4o vs Claude3.5 Sonnet v2 vs Gemini 1.5 Pro 【マルチモーダル性能比較】

はじめに

こんにちは。インターセクトの永澤です。

今回は、最近では生成AIのデファクトスタンダードになりつつある「マルチモーダル機能」についてOpenAI / Anthropic / Google各社の最新モデルでの性能比較をしてみたいと思います。
弊社が運営するAskhubにおいても3社の最新モデルを全て提供しているので、ユーザーの皆様が画像入力して対話する際のモデル選択の参考になれば幸いです。

マルチモーダルAIとは

テキスト・音声・画像・動画などの複数の異なる種類のデータや情報を処理し、理解することができる人工知能のことを指します。
今回は「画像」と「テキスト」を生成AIにインプットし、どれくらい画像の内容を読み取れるのか様々な角度で検証していきます。

比較する主要生成AIモデル

今回の比較で使用する生成AIモデルの主要スペックについて紹介します。

ChatGPT-4o

OpenAIによって2024年5月に発表されたモデルで、2023年10月までのデータで学習が行われています。

Claude 3.5 Sonnet v2

Anthropicによって2024年11月に発表されたモデルで、2024年4月までのデータで学習が行われています。

Gemini 1.5 Pro

Googleによって2024年2月に発表されたモデルで、2024年4月までのデータで学習が行われています。

Gemini Exp 1114 (おまけ）

Googleによって2024年11月に発表された試験運用版モデルです。
2024年11月20日時点で、GPT-4oを抑えChatbot Arena LLM Leaderboardで総合1位を獲得しています。

文字読み取り能力の比較

手書き文章の読み取り

＜検証目的＞

・手書きの文字が混在する画像から必要な情報を正確に抽出できるか
・チェックボックスを正しく認識できるか

＜プロンプト＞

画像から下記の情報を抽出してください。
・ふりがな
・お名前
・生年月日
・ご住所
・電話番号
・当店をお知りになったきっかけ
・ヨガの経験はありますか
・ヨガに期待する効果にチェックしてください
・お悩みや気になる部分にチェックしてください
・ご要望や不安なことはありますか

【注意】 一語一句正確に抽出するようにしてください。

＜画像＞

＜期待される回答＞

①ふりがな：いんたーせくと　たろう
②お名前：インターセクト　太郎
③生年月日：1995年4月1日
④ご住所：〒150-0001　東京都渋谷区神宮前6-25-8
⑤電話番号：0120-×××-000
⑥当店をお知りになったきっかけ：ご紹介 Askhub次郎
⑦ヨガの経験はありますか：はい
⑧ヨガに期待する効果にチェックしてください：
体質改善、ダイエット、筋力アップ、ストレス軽減
⑨お悩みや気になる部分にチェックしてください：ウエスト
➉ご要望や不安なことはありますか：
ヨガを通じてストレスを軽減し、心身のリラックスを得たいと考えています。初心者のため、無理なく進められるクラスを希望します。

＜結果＞

ChatGPT-4o：

まず、Gemini Exp 1114と並んで10問中8問正解だったGPT-4oですが、「個人情報は抽出できない」という理由で一切情報抽出してくれないケースも何度かあり、感覚的には最下位でした。
今回は、数回の再試行の中で返答として最適なものを"性能"として計測しています。

誤って回答してしまった部分は下記の通りです。

• ヨガの経験が「いいえ」になっている
• ヨガに期待する効果で「ダイエット」を認識できていない

Claude 3.5 Sonnet v2：

全ての項目を適切に認識して情報抽出できていました。

Gemini 1.5 Pro：

誤って回答してしまった部分は下記の通りです。

• ヨガに期待する効果の「筋力アップ」を認識できていない
• チェックされていない「姿勢改善」が表示されてしまっている

Gemini Exp 1114 ：

誤って回答してしまった部分は下記の通りです。

• ふりがなで取り消し線が引かれた文字を「耳」として認識している
• ヨガに期待する効果の「筋力アップ」を認識できていない

食品表示の読み取り

＜検証目的＞

• 指定された場所に注目して情報抽出できるか

＜プロンプト＞

添付画像はチョコレートのパッケージの写真です。 

パッケージ左部の1つの白い枠内（名称や原材料名が記載されている）の情報を全て抽出してください。

＜画像＞

＜期待される回答＞

①名称：チョコレート
②原材料名：砂糖（外国製造）、カカオマス、植物油脂、全粉乳、ココアバター／レシチン、香料、（一部に乳成分・大豆を含む）
③内容量：41g (10枚)
④賞味期限：下側の面に記載
⑤保存方法：28℃以下の涼しい場所で保存してください。
⑥製造者：株式会社 明治 東京都中央区京橋2-2-1
⑦製造所：埼玉県坂戸市千代田5-3-1

＜結果＞

ChatGPT-4o：

全ての項目を適切に認識して情報抽出できていたものの、「画像からテキストを直接抽出できない」という理由で一切情報を抽出してくれないケースが何度かあり、感覚的には最下位でした。

Claude 3.5 Sonnet v2：

全ての項目を適切に認識して情報抽出できていました。

Gemini 1.5 Pro：

全ての項目を適切に認識して情報抽出できていました。

Gemini Exp 1114 ：

全ての項目を適切に認識して情報抽出できていました。
ただし、アレルギー情報やお問い合わせ番号など、不要な情報も抽出していました。

カオスマップの読み取り

＜検証目的＞

• ロゴを含む文字情報を正確に認識できるか
• 膨大な情報を漏れなく認識できるか

＜プロンプト＞

画像から生成AI系サービスを全てリスト化して通しで番号をつけて

＜画像＞

（https://no-coders-japan.org/nocode-ai-industry-landscape-map）

＜期待される回答＞

61種類の生成AI系サービスをもれなくリストアップ

＜結果＞

ChatGPT-4o：

誤って回答してしまった部分は下記の通りです。

・「Notta」を「noca」と誤認識している
・「天秤.AI」を「死神.AI」と誤認識している
・V0が認識できていない

Claude 3.5 Sonnet v2：

「天秤.AI」を「元森.AI」と誤認識していました。

Gemini 1.5 Pro：

誤って回答してしまった部分は下記の通りです。

・「天秤.AI」を「天秤.AL」と誤認識している
・V0が認識できていない

Gemini Exp 1114 ：

誤って回答してしまった部分は下記の通りです。

・「Vrew」を「¥rew」と誤認識している
・「Create」を「create VZ」と誤認識している
・V0が認識できていない

以下、各モデルの回答です。

図表読み取り能力の比較

チャートの読み取り・推測

図の読み取り能力確認のため、グラフからデータラベルを消し、棒グラフと折れ線グラフの高さを予測させ、その予測値が実際の値とどれだけかけ離れているかを評価しました。

＜検証目的＞

・グラフの縦軸を読み取って、棒グラフおよび折れ線グラフの値を正確に予測できるか

＜プロンプト＞

10月の電力使用量、ガス使用量、総消費エネルギーを教えてください

＜画像＞

データラベルを削除したグラフを使用します。

＜期待される回答＞

予測精度の評価基準として、実際の値に対して±5%の誤差範囲を許容値として設定しました。 この基準に基づいて、各モデルの予測値を評価します。

①電力使用量（kWh)：290（276〜305まで許容）
②ガス使用量（m3）：170（162〜179まで許容）
③総消費エネルギー（kWh）：460（437〜483まで許容）

＜結果＞

ChatGPT-4o：

電力使用量と総消費エネルギーの予測値が、実際の値と5％以上の誤差を示しました。

Claude 3.5 Sonnet v2：

全ての項目について予測値と実際の値が完全に一致しました。

Gemini 1.5 Pro：

ガス使用量のみが実際の値より10m³低い値を示しましたが、許容誤差範囲内でした。
その他の項目は予測値と実際の値が完全に一致しました。

Gemini Exp 1114 ：

ガス使用量が実際の値より10m³低く、総消費エネルギーも実際の値より5kW低い値を示しましたが、いずれも許容誤差範囲内でした。

プロジェクト体制図の読み取り

＜検証目的＞

・指定された部分の階層構造を理解し、正確に抽出できるか

＜プロンプト＞

製造本部のみの組織構成を教えてください

＜画像＞

＜期待される回答＞

①生産技術部
②-生産工程課
③-設備管理課

④品質管理部
⑤-品質保証課
⑥-品質改善課

＜結果＞

ChatGPT-4o：

誤って回答してしまった部分は下記の通りです。

・製造本部の組織構成にない「製品開発部」が表示されてしまっている
・「生産工程課」を「生産工務課」と誤認識している

Claude 3.5 Sonnet v2：

組織構造を適切に認識して情報抽出できていました。

Gemini 1.5 Pro：

生産技術部配下の「品質保証課」および「品質改善課」を抽出できていませんでした。

Gemini Exp 1114 ：

組織構造を適切に認識して情報抽出できていました。

ガントチャートの読み取り

＜検証目的＞

・時系列に沿った情報を理解し、必要な情報を正確に抽出できるか

＜プロンプト＞

山田さんのタスクを教えてください
その中で、既に開始しているタスクはありますか

＜画像＞

＜期待される回答＞

①タスク：
環境構築、開発着手、プロジェクト計画、既設プログラム分析、テーブル設計
②既に開始しているタスク：
環境構築、開発着手、テーブル設計

＜結果＞

ChatGPT-4o：

誤って回答してしまった部分は下記の通りです。

・タスクの「環境構築」「開発着手」「プロジェクト計画」「既設プログラム分析」が認識できていない
・開始済みタスクが認識できていない

Claude 3.5 Sonnet v2：

全ての項目を適切に認識して情報抽出できていました。

Gemini 1.5 Pro：

ほぼ全ての項目を適切に認識し情報抽出ができていましたが、開始済みタスクの「調査・解析」において、「進行中」のステータスを「完了」と誤認識していました。

Gemini Exp 1114 ：

誤って回答してしまった部分は下記の通りです。

・タスクに不要なタスク（両面Aグループ設計）が含まれている
・開始済みタスクに不要なタスク（プロジェクト計画）が含まれている

まとめ

最終的なまとめは以下のようになります。

Claude 3.5 Sonnet v2は他のモデルと比較して、圧倒的に高い正答率を示しました。特にプロジェクト体制図やガントチャートの読み取りにおいて優れた性能を発揮し、画像をより体系的・構造的に理解できていることが確認できました。
Gemini 1.5 Proも画像からの情報収集能力は高かったものの、Claude 3.5 Sonnet v2と比べると体系的・構造的な理解においてやや劣る結果となりました。
ChatGPT-4oはほぼ全ての評価項目において、他のモデルより低い性能を示しました。また、新しくリリースされたGemini Exp 1114は、Gemini 1.5 Proと画像解析性能に大きな差が見られませんでした。

以上の結果から、画像のマルチモーダルを使用する際はClaude 3.5 Sonnet v2を使用することをおすすめしたいと思います。

最後に

　いかがでしたでしょうか。今回のテスト結果は、従来のClaude系モデルの画像解析性能が低いという私の認識を覆すものでした。
また、つい先日リリースされ、最新モデルとして注目されているGemini Exp 1114の性能がGemini 1.5 Proと同程度だったことも興味深かったです。生成AI業界はどんどん新しいサービスが出てくるので喰らいつくのが大変です。笑　
　今回はAskhub上でテストを実施したのですが、Askhubもどんどん新規の生成AIモデルやサービスを取り入れ、よりお客様にとって便利なサービスになるように今後もどんどん進化していきます。

社内データを連携した生成AI活用なら「Askhub」

インターセクトは、独自の情報探索AIを搭載した「Askhub」を提供しています。
Askhubは、社内のデータ活用プラットフォームとして、生成AIによるデータの取得→加工→出力までを一貫して行える環境を構築します。これにより従来の生成AIによる情報取得から一歩進んだ”高度なデータ活用”を実現します。

AWSの国内リージョンにも対応しており、安全な環境下で最新の生成AIモデルをご利用いただけます。さらに、個社ごとに管理しているクラウド環境へのデプロイプランもご用しており、セキュリティポリシーへの柔軟な対応が可能です。

Askhubを運用することで、セキュリティレベルを維持したまま、業務データを連携した生成AIの活用を可能にします。

詳細は下記リンクをご覧ください。