ゆるりぃ開設200日目記念、「Mou」の過去の5記事一挙公開！

まずは第一弾、映画好きには見逃せない記事だ。 

 「キャメロン・ディアスの隣にいるのは？！」

ある日、あなたは１枚のチケットを手に映画館へと入る。通路の途中で、あなたの周りを光線が飛び交い、頭のてっぺんから足のつま先までがスキャンされる。やがて通路の先には巨大空間が広がり、数十個ものドアが現れる。そこであなたは手元のチケットに目を落とすだろう。チケットに記されたのと、ナンバーが一致したドアを開けることになるからだ。ドアの向こう側は個別シアターになっていて、そこであなたは最新の映画を見ることになる。

しかしいつもと違う点がひとつだけある。それはあなた自身が映画に実写で登場しているところなのだ。憧れのヒーローと恋に落ちる女の子だったり、恐竜時代にタイムスリップした冒険家であったりする。これは実際現場で撮影されたものなのか？いや違う。実は、先ほど通路でのわずか数分の間に、あなたの表情、体の動き、声すべてが読み取られていたのだ。その処理データがすぐさま映画に反映された結果、あなたはいとも簡単に憧れのスターと共演することが出来たのである。

そんな夢のようなことが、はたして実現するのだろうか。今回は、この技術の実用化を目指している、早稲田大学理工学部応用物理学科の森島繁生教授に話を聞いた。
 

フューチャーキャストシステムとは

２００６年愛知万博の三井・東芝館で１６５万人を動員して話題となった、フルＣＧのＳＦ映画「グランオデッセイ」を覚えているだろうか。これには、来場者ひとりひとりの顔を取り込んでＣＧ映画に登場させるという「フューチャーキャストシステム」を利用したものなのだ。このシステムを開発、サポートしていたのが森島繁生教授である。

このシステムは、スキャンした顔をリアルなCGで再現することが出来る。そのしくみは、まず顔の立体形状があるとする。その凸凹具合から、約９０個程度の特徴となる『頂点』を選びだす。これで顔のかたちが決まる。次にあらかじめパターン化されているワイヤーフレームという『動く骨組み』を、先ほどの特徴点と組み合わせるのだ。すると、ＰＣ上で簡単な操作をするだけで、個性のある顔が動きだすのである。しかもこれがハイスピードで処理されているから驚きだ。

実際、来場者はレンジスキャナーという機械に顔を当て、二回シャッターを切られるだけで、あとは各シアターへ移動し１３分の映画を鑑賞するのみ。わずか数分で、一度に２４０人の来場者を映画の中にＣＧ登場させるのだから、その処理速度と正確性には相当高いものがある。


 
愛知万博から学んだこと

愛知万博は成功に終わったが、課題はいくつか残った。

「みんなスクリーン上で自分自身を見つけるのに夢中すぎて、内容を覚えていないというひとが少なくなかったんだ。映画っていうのは『没入感』が大切だからね」と森島教授は言う。それ以外にも、個人の特徴（たとえば表情のくせ、声、動作など）が反映されない点などが上げられた。

しかし同時に、夢みたいな体験をして多くの人がとても感動したことも確かであり、手ごたえを感じている。特に全国からアトラクションに参加した、障害者や自閉症の人たちの手紙が届いたことは森島教授にとっても予想しなかった喜びだった。

「これは我々がやってきた研究にとって、とても励みになりましたね」と森島教授は、これからの研究にますますの意欲を示している。

 

新たなプロジェクトで目指すもの

いずれの課題にせよ、ポイントはいかに短時間で処理するかである。森島教授は「いまの技術だと、お金と時間を掛ければいくらでも高精度なものは作れるんだよね。でも我々がやりたいことはそれではない。ハリウッドのおっかけをしてもしょうがないでしょ」と言う。

森島研究室では平成１８年度から、文部科学省「重要課題解決型研究等の推進」プログラムに採択され、プロジェクト『ダイブ　イントゥ　ザ　ムービー』通称ＤＩＭプロジェクトが発足した。このプログラムは「フューチャーキャストシステム」を更に技術的に発展させて、ＣＧだけではなく実写、アニメ、映像などすべてのジャンルで、参加者が全身三次元ＣＧ化してストーリーに参加できる、新しい映像技術を作り出すことを目的としている。つまり、顔のみに限らず、あなたの個人を識別できるものならなんでも再現してどこにでも登場させてみせますという、すごいことの実現を目指しているのだ。

顔の表情に関しては、３２パターンあるキーシェイプをブレンドさせて表現する方法がひとつある。また、表情筋モデルを土台として「顔形状は表情筋によってのみ変化する」ように制約を設けると、特徴点よりも少ない２０個程度の制御点だけで表情合成できるという方法もある。表情筋を動かすのはクリエーターによる手作業だが、これを自動推定させるシステムの模索が行われている。今後は、このふたつの方法を上手く組み合わせていく予定である。

髪の毛や体の動き、声についても、同様に特徴的な『頂点』をマークして、母音や骨格などといった『動く骨組み』を加える。これを自動化することにより、少ない情報と時間で最大のパフォーマンスを表現することを目指している。

 

技術だけではなく、夢を

ＤＩＭプロジェクトが本当に実現すれば、映画だけではなくゲームやテーマパークのアトラクションといった様々場面で応用され、エンターテイメントの新たな境地を開拓することが出来るだろう。しかし、あなたは本当に、自分そっくりの自分を画面の中に見たいだろうか？顔の形から表情、体型、声、しぐさまでそっくりの、もうひとりの自分を客観視するのは、楽しいことばかりではないかもしれない。

「そこで問題となってくるのは、どこまで似せるか、なんだよね」と森島教授は切り出した。「我々は技術を発展させるのと同時に、ひとが似せられて不快と感じ始める境目はどこなのか、その許容範囲を見定める作業をしなければならない」と述べた。

ただ単に技術だけを追求すればよいというわけではない。エンターテイメントを通して夢を与えることが最終目的だとすれば、心理的影響も考えた総合的なプロデュースが必要になってくる。ここに森島教授のエンターテイメント研究に対する熱意を感じる。

 

感動の定義が変わる

２１世紀、これから技術がますます高精度化し、技術に必要な時間も短縮される。するとあなたの住む世界はどうなるのだろうか。例えばＣＧ技術が進みすぎてしまうと、これまで想像力でカバーしてきた箇所までＣＧで補われ、想像力を働かせてイメージする隙がなくなる可能性がある。それが普通になる未来がきたとき、どんなことになら、あなたは胸をときめかせ、ワクワクするのだろうか。

「だからこそ、これからは技術を見せるのではなく、楽しませることが必要になってくるんだ」と森島教授は再度念を押した。

技術の進歩とともに、人々の感動の定義がゆっくりと再構築されていく。その進化を見据えて、森島研究室ではこれからも最新のエンターテイメント研究を行っていくだろう。いつか映画館でキャメロン・ディアスの最新映画を見るとき、彼女と共演しているかっこいいあなたが隣にいる、そんな未来もそう遠くはないだろう。

ゆるりぃ開設200日目記念、「Mou」の過去の5記事第一弾はいかがでしたか？

本来なら、ここで関連の「リバコミ！」のサイエンス記事へリンクしたいところなのですが、

ヴァーチャルリアリティ関連の記事がなかったので、、、、

昨年秋にアメリカのディズニーランドで体験したヴァーチャルリアリティアトラクションの記事へどうぞ。

宇宙教育プロジェクトブログ

11/12 ディズニーワールド視察報告より抜粋

・「スペースシップ・アース」
原始時代からのコミュニケーション技術の変遷を、トロッコに乗って見ていくアトラクションでした。人型ロボットの展示がぎこちない動きで、時代の風景を表してます。薄暗くしてあるためリアルに見えるのですが、ちょっとお化け屋敷みたいでした。（笑
最後に自分の顔写真をはめ込んで、「選択した自分の未来を見る」動画があり、未来の自分はサーフィンしながら仕事してて笑えました。「そういうオチか」と いう感じです。このアトラクションのスポンサーはSiemens AG。（ドイツのグローバル企業、連結売り上げ14兆円！）