チャットGPTが「画像の中身」を読み取れるように！
こんにちは。ChatGPTの有料版に「画像認識機能（GPT-4V）」が加わったようです（2023年9月下旬）。画像をUPすると、ChatGPTがどんな情報を読み込んでくれるのか？ X（Twitter）の皆さんが色々と試して示しておられましたので、まとめてみました。
①画像から「阪神優勝」を推測できた！
こちらのツイ主さんは「阪神タイガース優勝時の写真（2023年）」をChatGPTにUPして「どんな状況か推理させる」という実験をしてみた模様です。
ツイ主さんは3つの写真をChatGPTに渡しました。
・道頓堀の橋から人が飛び込む写真
・混み合う道頓堀の橋を上から撮影した写真
・混み合う道頓堀の橋を近くから撮影した写真
そして「これがどこか」「何をしているか」ChatGPTに聞いています。
写真から何が起こっていると推測できますか？
するとChatGPTの答えは以下の通りです。
①日本の都市、おそらく大阪・道頓堀の写真です
②何らかのイベントを楽しんでいます
③地元スポーツチームが勝利したのでは？
以上から「大阪のプロ野球チームが優勝した祝賀行事」と推測します
②料理の写真からChatGPTが栄養計算できた！
こちらのツイ主さんは、朝食の写真をChatGPTに送り「栄養計算できますか？」とたずねてみた模様です。
写真に写っているものは
・カップに入ったスープ
・お皿（目玉焼き2つ・切ったトマト・炒めた（？）ほうれん草・炒めたベーコン）
画像を見て、カロリーと栄養成分を一覧表にして
できました。参考程度にして下さいね
| 食品項目 | 推定カロリー (kcal) | 主要な栄養成分 |
|---|---|---|
| スープ (中サイズのカップ) | 150 – 250 | 炭水化物，タンパク質，脂質 |
| サニーサイドアップの卵 (2個) | 140 – 160 (1個あたり) | タンパク質，脂質 |
| ベーコン (数枚) | 40 – 50 (1枚あたり) | タンパク質，脂質 |
| トマト (数切れ) | 5 – 10 (1切れあたり) | 炭水化物，ビタミンC |
| ほうれん草 (一握り) | 5 – 10 | 炭水化物，鉄，カルシウム，ビタミンA |
③風景画像からChatGPTが「運転の注意点」を教えてくれた！
こちらのツイ主さんは、運転教本によくあるイラストをUPして「運転の注意点」をたずねてみたようです。
送った画像は「運転席から見える風景のイラスト」です。
・子どもが道路を渡りたそうにしている
・対向車線にバスが停まっている
・他車が曲がろうとしている
運転上、危険になりそうなことを指摘して
①子どもの飛び出しに注意する必要があります
②バスの後ろから人が渡る危険性があります
④ChatGPTが、グラフから表を、表からグラフを作れる！
こちらのツイ主さんは「グラフの元データをなくしてしまった！」という仮定でChatGPTに「グラフのみ」を送り、たずねてみたようです。
グラフを見て表を作って！
できました！
送った画像を受け取ったChatGPTは、
・画像の文字（日本語）を読み取り
・画像の数字を読み取り
・一覧表に仕上げる
ということをやってくれました。
また「ChatGPTにデータを送り、グラフを作ってもらう」という事は当ブログの過去記事でもご紹介しています。もしよろしければご参考にして下さい。
⑤手描きのイラストをChatGPTが褒めてくれた！
こちらのツイ主さんは、紙に描いた手描きのイラストを携帯で撮り、ChatGPTに送ったようです。
僕が描いたイラストを褒めて！
わぁすごい！女の子が笑っているイラストだね！アクセサリーも可愛い！
⑥「写真でひと言」大喜利ができた
こちらのツイ主さんは、「写真でひと言」の大喜利をChatGPTに依頼したそうです。
写真でひと言、大喜利をお願いします
新入社員の私、今日から観葉植物部門のリーダーです！
画像に写る観葉植物や、人物の若々しさを読み取り、ChatGPTがオモロく味付けしてくれています。
まとめ
ChatGPT有料版に新しく搭載された機能「画像認識（GPT-4V）」は、写真や図表に「何が描かれているか」ChatGPTが読み込んでくれ、さまざまな使い道が期待されます。いつかは自動運転などにも搭載されるのでしょうか。何かクリエイティブな実験や便利な計算にも使えそう！今後の展開に期待が高まります。
コメント