2023.08.25

TED要約:本物の人々のフェイク動画 – それらを見つける方法

marugotoyoten

スパソーンスワジャナコーンが「本物の人々のフェイク動画 – それらを見つける方法」について語りました。この動画の要点と要約をまとめました

スピーカー

スパソーンスワジャナコーン

専門分野:None
経歴:None

３つの要点

要点１
ホログラムと人間の対話の力は、新しい対話の次元を生み出す。
要点２
写真や動画からの3D顔モデルの再構築が可能で、高詳細なモデルを作成できる。
要点３
制御可能なモデルと話し方の模倣により、リアルな動きや表情を実現する。

要約

ホログラムと人間の対話の力
このスピーチでは、実際のホロコースト生存者のホログラムとの対話が可能な「新しい対話の次元」という魅力的なプロジェクトについて学びました。このプロジェクトは、誰でも同様のモデルを作成できるかどうかを考えるきっかけとなりました。スワジャナコーンは、既存の写真や動画を使用して、その人にそっくりなモデルを構築する解決策を開発しました。目標は、本や映画では教えてくれない、深い個人的な人間の対話を創造することです。

写真や動画からの3D顔モデルの再構築
リアルなモデルを作成するために、スワジャナコーンは3Dスキャンが必要なく、任意の画像や動画から高詳細な3D顔モデルを再構築する技術を紹介しました。その人の大量の写真コレクションを分析することで、平均モデルが構築され、それを繊細な表情やしわなどの細部を捉えるために洗練させます。興味深いのは、写真コレクションは表情や場所に関係なく、どんな一般的な写真からでも取得できるという点です。さらに、新しいブレンディング技術が開発され、顔のテクスチャと色を向上させます。

制御可能なモデルと話し方の模倣
作成されたモデルは、静止画や動画のシーケンスを使用して制御することができ、リアルな動きや表情を実現します。スワジャナコーンは、これらの制御可能なモデルを入力動画で操作する方法をデモンストレーションし、仮想パーティーを制御する能力を紹介しました。さらに、スピーカーは、ある人物の話し方をコンピュータに教える可能性についても探求しました。その人の映像を見せることで、14時間のバラク・オバマのスピーチをニューラルネットワークでトレーニングし、音声入力に基づいて口の動きを合成することができました。

懸念と対策
この技術の結果は素晴らしいものですが、スワジャナコーンは悪用の可能性を認識しています。研究者として、彼らは偽の画像や動画を検出するための対策技術に取り組んでいます。スワジャナコーンが所属するAIFoundationは、機械学習と人間のモデレーターを使用して偽のコンテンツに対抗しています。彼らは「RealityDefender」というウェブブラウザのプラグインをリリースする予定であり、潜在的に偽のコンテンツを自動的に検出することができます。進展はあるものの、現在の能力を認識し、この技術の安全かつ責任ある使用を確保するために批判的な姿勢を持つことが重要です。

▼今回の動画