人工知能の歴史において、「マルチモーダル」という言葉は長くバズワードとして消費されてきた。しかし、OpenAIが発表した『GPT-4o（オムニ）』は、その概念を真の意味で体現した初めてのモデルかもしれない。
従来の音声AIシステムは、音声をテキストに変換し、テキストで推論し、再び音声に変換するという3段階のプロセスを経る必要があった。これにより、対話には避けられない遅延（レイテンシ）が生じ、感情やトーンのニュアンスは途中で欠落してしまっていた。GPT-4oの最大のブレイクスルーは、テキスト、視覚、音声を「単一のニューラルネットワーク」でネイティブに入出力処理する点にある。
これにより、平均応答速度は人間の会話とほぼ同等の232ミリ秒を達成。ユーザーの呼吸のペースを読み取り、感情的な声色で応答し、さらには会話の途中で人間が割り込んだ場合でも自然に対応を切り替えることができる。
「これはまるで映画の世界のAIだ」とサム・アルトマンCEOが語るように、GPT-4oはコンピューターと人間のインタラクションにおけるパラダイムシフトを提示している。スマートフォンを通じた同時翻訳や、視覚障害者向けのリアルタイムな環境描写アシスタントなど、APIの解放によって世界中の開発者がこの新たな知覚機能をプロダクトに組み込み始めている。もはやAIは「画面の中のテキストジェネレーター」ではなく、我々と同じ世界を見聞きし、反応する同僚へと進化を遂げたのだ。