1台のカメラの映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する技術を、情報通信研究機構(NICT)ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室が開発した。本技術の改良と活用を進めることで、深い相互理解が生まれる遠隔コミュニケーションの実現が目指される。
■現在の3Dアバターは本人の表情や動作を十分に再現できていない状況に
現在、仮想空間や複合現実（MR）空間を共有し、自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行う技術の開発が各所で進められている。しかし、現状の3Dアバターは、あらかじめ用意しておいたCGキャラクタが用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていない状況にあった。
■リアルな3Dモデルを構築するには多数のカメラが必用
一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサを用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難だった。
■細やかな顔の表情や動作を精彩に再現
NICTが開発した技術では、多数のカメラや特殊なセンサは不要。カメラ1台の映像だけで身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功した。
細やかな表情の変化を様々な方向から再現した3Dアバター
■カメラの前で一回転した映像を使って3Dアバターを制作
この技術は複数のAIモジュールから構成。まず、カメラの前で一回転した映像からフルボディのモデルを構築する。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定されてモデルが更新される。そして、刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができる。
カメラ1台の映像から3Dアバターを構築し、表情や動作を様々な方向から再現
■表情や動作を入力映像と同程度に精密に再現
REXR技術を用いることで、本人が表出する細やかな表情や動作を3Dアバターにより、どの方向からでも入力映像と同程度に精細に再現できるため、心の機微（微妙な感情変化・意図など）を、これらの非言語情報から読み取ることができる。
■遠隔ミーティングで深い信頼関係を構築
今回開発したREXR技術をオンラインの遠隔ミーティングに活用することで、深い信頼関係の構築がリモートで可能となり、相互理解の深化が図れる遠隔コミュニケーションの実現が期待される。今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上や処理の高速化を可能にする技術開発を進めていく。
仮想空間内での遠隔コミュニケーションに活用
