2024-06-16

GPT-4V(vision)とは？使い方や料金体系、活用事例を徹底解説！

この記事のポイント

GPT-4Vは、画像や音声にも対応したマルチモーダルAI。
GPT-4Vはテキストに加えて画像・音声の入力解析および出力が可能。
最新アップデートにより無料ユーザーでも利用可能に。

監修者プロフィール

坂本将磨

Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。

OpenAIが2023年9月に発表した「GPT-4V（GPT-4 Vision）」は、マルチモーダルAIの進化を牽引する革新的な技術として注目を集めています。
GPT-4Vは、これまでのテキストベースのAIモデル「GPT-4」に、画像解析機能と音声出力機能を組み合わせることで、視覚と聴覚を兼ね備えた新しいAIの形を実現しました。

本記事では、GPT-4Vの特徴と使い方、そして実生活での活用法について詳しく解説します。GPT-4Vは、テキストだけでなく画像や音声も理解し、それらを統合的に処理することができます。

これにより、より自然で直感的なユーザーとのやり取りが可能になり、AIとのコミュニケーションがさらに身近なものになるでしょう。

ChatGPTの概要や活用例について詳しく知りたい方は、こちらの記事もご覧ください。
➡️ChatGPTとは？今さら聞けない基礎知識を徹底解説！

GPT-4Vとは

GPT-4Vでできること

1.ChatGPTで画像入力ができる

2.ChatGPTで似ている画像の生成を行う

GPT-4Vとは

GPT4Vのイメージ
GPT-4Vのイメージ

2023年9月にOpenAIは新機能GPT-4V(GPT-4 Vision)を発表しました。

これは従来のGPT-4の機能に加え、画像解析機能と音声出力機能を統合したマルチモーダルAIです。
この記事では視覚と聴覚がついたGPT-4Vの使い方と、その活用法をご紹介します。

マルチモーダルの解説画像

GPT-4Vでできること

GPT-4Vにはこのような機能があります。

1.ChatGPTで画像入力ができる
2.ChatGPTで似ている画像の生成を行う
3.ChatGPTで音声入力ができる

GPT-4Vができること

1.ChatGPTで画像入力ができる

ChatGPTで画像入力ができる

画像入力機能を使うことで、アップロードした画像に関する質問をすることができます。例えば、画像内の物体を識別するよう依頼したり、画像のシーンを説明してもらったりすることが可能です。その画像を解析し、それに関連するテキスト情報を提供します。

例えば画像を入力してみます。

GPT画像説明

すると画像に写っている風景や状況を読み取り、それについて解説してくれます。

以下は、Xに投稿された活用事例です。

画像からソフトウェアを作成する

From now on I’m now going to be using AI to build software by simply drawing it. pic.twitter.com/qKovq5CJBA
— Mckay Wrigley (@mckaywrigley) September 27, 2023

画像から実際のコードを書く

ChatGPT、クラス図からクラス書いてくれる。
ニャー、ワンワンまで書いてくれるのヤバすぎだろー pic.twitter.com/8YbObkQduG
— きしだൠ(K1S) (@kis) September 27, 2023

複雑な政府資料を説明する

GPT-4V vs. 霞が関 pic.twitter.com/6im95nLZET
— めんだこ (@horromary) September 28, 2023

2.ChatGPTで似ている画像の生成を行う

類似画像の生成機能によって、様々なアイデア案を検討することや、画像の高画質化が可能になりました。

例えば、写真のイラスト化や類似画像の生成を頼むことが可能です。

類似画像生成例

以下では実際の活用例を紹介します。

ラフ画をロゴにする

The combination of Bing Chat vision with DALL•E 3 is amazing.

Bing not only understood my image but also brought my logo sketch to life using DALL•E 3.

Here is how you can do it too in a couple of minutes: pic.twitter.com/tby9IcqEd8
— Alvaro Cintas (@dr_cintas) October 2, 2023

デザインカンプの案を出す

DALL-E 3 can design website mockups in seconds.

This will change everything for designers — infinite ideas and inspiration. pic.twitter.com/wDb2wuMCk4
— Matt Shumer (@mattshumer_) October 4, 2023

3.ChatGPTで音声入力ができる

GPT-4Vの音声入力機能を使用する際のメリットは、手を使わずに操作ができる点、テキスト入力が苦手な人でも簡単に利用できる点です。

ChatGPT音声入力
ChatGPTの音声入力機能

以下で実際の活用例を見ていきましょう。

英会話の先生として振る舞う

えぐい！

えぐい、えぐい！

ハンズフリーでChatGPTと会話できる

どうなってんだこれ、本当に今日まで生きてきた世界か？

未来に来たのか？ pic.twitter.com/vulhoylWIy
— チキン＠ライター (@HeroofChickens) September 27, 2023

キャラクターと会話する

AIキャラクターとの生活が実現してる！

スマホの中のキャラクターが、ChatGPTの視覚機能「GPT-4V」の機能を使い、冷蔵庫の中のものを把握して会話できてます。

全員にAIキャラがついて人生を伴走してくれる、新しい世界がきます✨pic.twitter.com/SHKPCkGrxx
— ひろちゅ～ (@hirochuu8) December 16, 2023

ハンズフリーでChatGPTと音声会話する

ついにやっちまった。
ChatGPTと音声で直接喋れる様になった。

これで、皿洗い中でもChatGPTに相談できる。。

勿論、誰でもできるように、一行もコード書かずに、全部無料でやる方法を模索しました。需要あれば後日解説出します。

以降、面倒な電話はこいつに対応してもらうか。。笑 pic.twitter.com/N5mG87bQFB
— 平岡 | ワンランク上の生成AI活用術 (@hiraoka_dx) February 25, 2023

GPT-4Vが苦手なこと

一般的に画像内の情報が非常に混み入っていたり難解な場合、GPT-4Vで推論することは難しくなります。
以下で事例を紹介します。

クロスワードを解く

クロスワード/gpt4V

2つの画像を比較するタスク（間違い探し）はある程度可能ですが、完璧な精度ではないようです。

参考：チャンネルガイド　漢字クイズ

専門知識が必要なタスク

この実験ではGPT-4Vの識別能力を測るために専門家の放射線科医として、この画像の放射線診断レポートの生成タスクを課しました。
診断結果として肺結節のおよそ正しい見解を示している一方、位置やサイズについてはハルシネーションを起こしています。

Here, the model correctly identified a suspicious pulmonary nodule but incorrectly described its location and explicitly hallucinated its size. Additionally, it inferred a lack of pathologically enlarged lymph nodes, which is impossible to determine from just one slice. pic.twitter.com/avQCbTmLVS
— Christian Bluethgen (@cxbln) October 4, 2023

参考：The Dawn of LMMs: Preliminary Explorations with GPT-4V(vision)