スマホ撮影だけで精巧な3Dアバターを作れる技術をMetaが開発 - GIZMODO JAPAN

こんなリアルなのをスマホで作れる、と…？

Facebook改めMetaは今、バーチャルリアリティ（VR）にすべてを賭けてます。といっても現状、バーチャルな世界に入っていくのは物好きな人ばかりで、まだまだメインストリームじゃありません。そこでMetaは、みんながもっと使いたくなるようなVRを実現する技術を研究開発してるのですが、その皮切りがこちら。スマホで自撮りするだけで簡単にユーザーそっくりの3Dアバターを作れてしまう技術です。

デジタルスタントマンはまだ高嶺の花

最近のハリウッド映画の世界では、デジタルなスタントマンを作るケースがどんどん増えてます。そのメリットは、俳優を危険にさらさずにきわどいアクションが撮れることもありますが、たとえばMarvelコミックのコスチュームを再現する場合も、デジタルだから可能になってるものもあります。

そんなデジタルスタントマンを作るためには、現状だと優秀な視覚効果アーティストと特殊な道具が必要です。道具とはたとえば、トラッキングカメラをいっぱい搭載した巨大なサウンドステージとか、俳優の顔や体を正確に認識するための特殊なスーツやメイクアップ、などなど。使い方も難しいし、コストもかかります。

もっと簡単な3Dアバターとしては、たとえばAppleのミー文字とか、あつ森みたいなゲームのキャラとか、そういうのがあるにはあります。でも、そういう簡易なものは結局どんなに頑張って本人に似せたとしても、リアリティという意味ではデジタルスタントマンの足元にも及びません。あとはVTuberに依頼して、彼らのスキルと高価な道具を駆使して自分用アバターを作ってもらうこともできますが、こちらもリアリティは全然ありません。

3年前発表の技術がさらに進化

いくらMetaがリアルな3Dアバターを作りたくて、お金なら出すよ！って思ってても、視覚効果スタジオに何十億人のユーザーを招待して3Dアバターを作ってあげるのは無理ってものです。そこで彼らは、ほとんどのユーザーがすでに持っている道具、つまりスマホをうまく使うことにしました。

今年8月にカナダのバンクーバーで開かれるカンファレンス｢Siggraph 2022｣で発表予定の論文の中で、MetaのReality Labsの研究チームがそんな技術を発表しています。彼らの技術を使えば、スマホのカメラで撮影したデータを元に、いろんな表情、感情を表現できるリアルな3Dアバターが簡単に作れるらしいんです。Metaでは長年かけてこのテーマに取り組んできました。

2019年、当時のFacebookの研究チームは、巨大な球体の中に高解像度カメラ171台を載せたMugsyという装置を使い、3Dアバター生成に必要な画像を撮影しました。毎秒180GBものデータを記録し、被写体となる人物はカメラ球体の中心に1時間ほどいて、スクリプトを読み、変な顔をする必要がありました。その結果、リアルな3Dモデルを作るという課題はクリアできたものの、たくさんの人をデジタル化するのは非現実的でした。

巨大装置をスマホで代替

でも、それから3年が経ち、FacebookはMetaに名前を変え、その間研究チームはMugsyをスマホのセルフィーカメラで置き換えられる技術を開発してきました。彼らの新たな技術を使えば、3Dアバターを作るためにはもう何百台ものカメラとか、1時間かけての撮影とかは要りません。ユーザー側の操作は、スマホで顔を撮りながら指定される65種類の表情を作ったり、指定される方向に視線を向けたりするだけです。研究チームいわく、このプロセスは3分半ほどで完了します。

Video: Chen Cao / YouTube

Metaが発表する新たな仕組みでは、事前に255人分、さまざまな人の顔をMugsy的なセットで3D撮影して、顔の作りを学習しています。その学習でできたニューラルネットワークを使ってユーザーが撮った顔データを処理することで、驚くほどリアルな3Dアバターが作れるんです。ただ、その処理にはかなりの計算量が必要で、高性能なコンピューターでも約6時間かかるほどです。そこでこの部分はクラウド側で処理することにすれば、ユーザーが高速パソコンを持ってなくても問題ないというわけです。

この3Dアバターツールは、現状ではメガネをかけたままじゃ機能しないとか、長い髪の再現が下手とか課題もあります。あとは作れるのが頭だけっていうのも、実際のサービスとかで使う上では欠点になるかもしれません。バーチャルなチャットルームに、顔だけが異様にリアルな友だちとか家族がうろうろしてる…って、逆にシュールになっちゃいそうなので。

Adblock test (Why?)

from "高価な" - Google ニュース https://ift.tt/dfX4kIz
via IFTTT

Bagikan Berita Ini