AI用語

マルチモーダルAI

マルチモーダルAIは、文章、画像、音声、動画など複数の種類のデータを同時に扱えるAIのことです。異なる形式の情報を組み合わせて理解し、生成する点が特徴です。

概要

マルチモーダルAIは、テキスト、画像、音声、動画、センサーデータなど、異なる種類のデータを受け取り、理解・処理・生成するAIを指す。Google Cloudの解説は、この考え方を異なるデータモダリティを同時に扱う技術体系として説明している。

写真を見せて内容を質問する、図表の入った資料を読み解く、音声と映像を合わせて要約する、といった使い方が考えられる。単一の形式しか扱えないAIより、現実の情報に近い入力を扱える点が利点になる。

複数の形式を扱うほど、入力の品質が結果に影響しやすい。画像や音声に含まれる個人情報や権利の問題は、入力する前に確認する必要がある。