なぜ東映は「デジタルヒューマン」を創造し続けるのか?ツークン研究所の挑戦を探る

なぜ東映は「デジタルヒューマン」を創造し続けるのか?ツークン研究所の挑戦を探る

目次

目の前の画面で映し出された人物。これは実物なのか、それとも3DCGなのか――。

そんな印象を持たざるを得ないほど、リアルに再現された「デジタルヒューマン」を開発しているのは、映画製作会社を母体に持つ東映ツークン研究所だ。Web3が到来する中、このデジタルヒューマンの存在感はますます高まるだろう。

今回は、デジタルヒューマンの研究開発を牽引する主席ディレクター・美濃 一彦氏にお話を伺った。

東映によるデジタルヒューマン開発の歴史

――まずは、東映ツークン研究所の概要について教えてください。

美濃:東映ツークン研究所は2010年に発足した、東映の一組織になります。入居する東映デジタルセンターというビルでは、撮影後のポストプロダクション作業を一貫して行うことができ、東映ツークン研究所もデジタルセンターの研究機関という位置づけです。

掲げている目標としては、コンピューターグラフィックスを様々なテクノロジーと組み合わせ、従来の映像制作ワークフローを変えていくことです。近年は「コンテンツの未来をデザインする」というコンセプトを新たに掲げ、デジタルヒューマンやバーチャルプロダクション、仮想空間技術などを組み合わせ、世間に一石を投じようと考えています。

東映ツークン研究所では、新たな映像表現を目指して過去の偉人をデジタルヒューマン技術で蘇らせる取り組みを行なっている。現在(2022年8月時点)は、名優・松田優作氏の復活に挑戦しており、従来のデジタルアーティストによる再現手法に加え、AIによる形状と音声の復元などテクノロジーを掛け合わせたアプローチでデジタルヒューマン化を進めている

――2010年というと、ちょうど世の中では映画『アバター』が公開され、CGの進化と可能性に改めて魅了されていた時期ですね。

そうですね。東映ツークン研究所では2010年の発足以降、初期のモーションキャプチャーシステムの導入をきっかけに、ゲームやCMに登場するCGキャラクターの動きに関するサービスを開始し、その過程でさまざまな種類のコンテンツ制作においても、CGキャラクターを取り扱う案件に携わることが増えていきました。CGキャラクターを動かすには、アニメーターだけが必要なわけではなく、どう動かすかというテクニカルなノウハウも必要になりますが、研究所ではそのあたりの知見が溜まっていきました。

――いつ頃から、本格的にサービスの認知が高まっていったのでしょうか?

2016年頃、Web上でリアルなデジタルヒューマンやCGキャラクターが個人クリエーターによって投稿されるようになってからでしょうか。代表例がSayaという女子高生モデルで、Sayaをトリガーに、国内ではエンタメを中心にデジタルヒューマンを活用する企画が急増していきます。

設立当初からCGキャラクターの動きや表現をメインに取り組んできた私たちのもとにも、いくつもの相談が寄せられ、それをきっかけにデジタルヒューマン制作に特化したCGチームを編成し、研究開発と実制作の取り組みをスタートさせました。

2018年には「デジタルヒューマンプロジェクト」を正式に発表し、現在に至るまで様々な作品やプロジェクトに参画させていただいています。

「不気味の谷」を越えた先にある課題

――ホームページでこちらの設備を拝見したのですが、これは何なのでしょうか?

こちらは米国USC大学ICT(Institute for Creative Technologies)が開発した高精度キャプチャシステム「LightStage(ライトステージ)」です。ご覧のような天球状に設置された多数の照明は光の強弱や角度などを調整できるので、それをコントロールしながら複数のカメラで撮影します。そうすることで、形状だけでなく、肌の質感までも高精細に再現することができるようになっています。2018年のデジタルヒューマンプロジェクト発表に伴って新たに導入しました。

こちらは私をサンプルにしてスキャンしたものです。実際はこれら撮影された写真が大量にあります。そして、この写真をもとに作成されたスキャンデータがこちらです。

そして最終的なCGデータとなったものがこちらになります。

――これはすごいですね!肌の感じとか、ここまでテクノロジーは進化しているんだと実感できます。

もちろん「不気味の谷」を完全に超えたかと言われると、特にこれを動かすとなると、まだまだ難しいところがあるのが現状です。

例えば近年公開されたハリウッド大作でも、デジタルヒューマンに対して違和感を覚えてしまう観客は多かったようです。数年単位でかなりのリソースを投入して開発を続けても、そう感じさせてしまっている現実はあります。静止画であれば、現時点でも違和感のないレベルまで技術は進歩していますが、それを動かそうとすると難易度が一気に高まります。

さらに、実在する人物のコピーである“デジタルツイン”の場合はより一段と難しく、リアルさに加えて、実在の人物と同じように見える必要があります。「こんにちは」と話す表情でも、「こ」や「ん」と発声する顔の形だけでなく、発話タイミングや発声間の表情まで、すべてが実在の人物と同一でなければいけません。

――画像はディープラーニングによって飛躍的に進化していますが、映像はまだハードルが高いと。

「こういうことができる」というアイデア自体は豊富にあるものの、そのアイデアを実現するのはまさにこれからです。動きを学習させてセリフと紐づけたり、多くのアイデアが試行錯誤されています。

とはいえ、「えー」や「うーん」といったつなぎ言葉を後から加えたり、動画から学習して話し相手の感情を読み取って言葉遣いを変えるといった分野は、自然言語処理や音声合成で着実に歩みは進んでいます。

数年間の大作ドラマ参画を経て

――美濃さんは、どのような流れで現在のお仕事に就かれたのでしょうか?

元々はIMAGICAグループの株式会社リンクス・デジワークスに10年ほど在籍し、モーションキャプチャーやコンピューターグラフィック全般に従事していました。特に3DCGキャラクターのテクニカルディレクションや監修といった業務に携わり、独立後は様々な企業と取引しながら、自分の技術力を磨いていきました。

独立して数年後、NHKのスペシャル大河ドラマ『坂の上の雲』の制作に声をかけてもらえ、CGスーパーバイザーとして数年間取り組みます。

――超有名作品ですね!

『坂の上の雲』は企画段階から数えると10年近い製作期間があり、数年にもわたって様々な場所でロケ撮影を敢行したケタ違いの大作でした。日露戦争を題材にした作品であり、日本海海戦における海戦表現や中国大陸の陸戦表現でCGを活用しています。

その陸戦表現のCG制作は、映画『ブラザーフッド』のVFXスーパーバイザーを務めた人物の所属する韓国のプロダクションを中心に進めていくことになり、私も日本側の陸戦に関するCG責任者を担い、作品作りに数年間にわたって関わりました。

東映ツークン研究所に誘われたのは、その製作期間の終盤です。最終的に研究所は2010年に設立されて、私自身は2011年から在籍しています。

エンタメ以外での活用のポイントは「ストーリーテリング」

――デジタルヒューマン技術は現状エンタメ分野で使われることが多いと思います。他の活用シーンとしては何が考えられますか?

近年はDXなどが話題になっていることもあり、デジタルヒューマンも日常の様々な場面に登場させたいと考えています。具体的には、デジタルヒューマンという外見の技術と内面の人工知能を組み合わせた「AIデジタルヒューマンプラットフォーム」を作り、受付や教育コンテンツ、それこそメタバースにも登場させようと取り組み始めています。

エンタメでの追求と日常での活用の可能性を見出すことに、デジタルヒューマンの研究分野はわかれているものの、この2分野はクロスオーバーしている部分は広いです。もしも人工知能とCGキャラクターを組み合わせるアイデアだけなら、ベンチャーやスタートアップに任せればいい。やはり東映がやるからには、そこにエンターテインメントを取り入れられるはずだと。

ストーリーテリングを使って、日常に驚きや居心地の良さをどれだけ取り入れられるかが、今後頭一つ抜けるためのポイントなのではないかと考え、現時点は両軸で取り組みを進めることこそが重要だと感じています。

――自動車メーカーでいう、F1と市販車の開発と似た関係と言えそうです。

そうですね。最近は他業界の方とやりとりすることも多く、話せば話すほどストーリーテリングへの期待は感じます。実際、大手企業のイノベーションやDX関連のチームと議論させていただくことが増えてきましたね。

――デジタルヒューマンは人によって態度を変える可能性がなく、他人に相談しにくいことを相談しやすいなどの利点があると聞きます。一方で、わざわざデジタルヒューマンを活用する必要があるのか、疑問も残ります。

デジタルヒューマンがベストなシチュエーションであれば、当然活用すべきですが、場合によってはデフォルメされたキャラクターの方が適していることもあるはずで、今後も用途に沿った形で開発できればと感じています。

とはいえ、デジタルヒューマンが活用できる場面は、決して少なくないと思います。なかでも、自分のコピーである“デジタルツイン”の活用は、これまで生身の人間が行っていた体験を拡張させる可能性さえも秘めています。体験機会が増え、より充実した生活を送ることに寄与できるかもしれません。

*後編へ続く

編集:山田 雄一朗
撮影:長岡 武司
構成:鈴木 友

関連記事

  • 麹や旨味など、日本古来からの「食の智慧」に盛り上がる欧米市場を探る 〜Food-Tech Webinar Fall 2022レポート

    麹や旨味など、日本古来からの「食の智慧」に盛り上がる欧米市場を探る 〜Food-Tech Webinar Fall 2022レポート

  • 社会性にセキュリティを組み込むことで、デジタルな人格(ソウル)は復元できる 〜G.GのSBT解説 #4

    社会性にセキュリティを組み込むことで、デジタルな人格(ソウル)は復元できる 〜G.GのSBT解説 #4

  • 効率化だけが論点ではない。AIによる「特許DX」に向けた専門家ディスカッション 〜超DXサミットレポート

    効率化だけが論点ではない。AIによる「特許DX」に向けた専門家ディスカッション 〜超DXサミットレポート

  • ステーブルコインはDXに向けた一丁目一番地か?金融の未来に向けた官民ディスカッション 〜超DXサミットレポート

    ステーブルコインはDXに向けた一丁目一番地か?金融の未来に向けた官民ディスカッション 〜超DXサミットレポート

  • Soulboundトークンはデジタル時代の「社会的包摂の基盤」になるかもしれない 〜G.GのSBT解説 #3

    Soulboundトークンはデジタル時代の「社会的包摂の基盤」になるかもしれない 〜G.GのSBT解説 #3

  • 東京ガールズコレクションのメタバース戦略とは?「バーチャルTGC」が目指す次世代ファッションショーを探る

    東京ガールズコレクションのメタバース戦略とは?「バーチャルTGC」が目指す次世代ファッションショーを探る

News

  • ㍿Borderlessが、株式投資型クラウドファンディングサービス「FUNDINNO」において、募集による投資申込みの受付を開始することを発表

  • ㍿情報基盤開発が、従業員の心身の健康管理に関するサービスを提供する㍿メンタルヘルステクノロジーズと業務提携契約を締結

  • NTT印刷㍿が、新たに「まるごと電子化日報業務効率化パッケージ」をサービスラインアップに追加し、提供を開始

  • ㍿カヤックが、㍿リビングハウスの一部株式を取得し、資本業務提携を締結

  • サグリ㍿が、これまで目視で行われていた農地パトロール調査を、衛星データとドローンを活用することで、農業委員会が効率的な調査を行うことを実現

FREE MAILMAGAZINEメルマガ登録

DXに特化した最新情報配信中