「リアルの世界の映像とデジタル技術を融合させて新しいコンテンツを創出するDXを目指す」松本 俊博（NHKエンタープライズ）
—5GMFミリ波普及推進ワークショップ／日本の産業技術最前線レポート

第5世代モバイル推進フォーラム（5GMF）は、2024年1月にミリ波普及推進ワークショップ「日本の産業技術最前線」の第2回を開催した。幅広く通信業界以外の方とも交流する場を持つことが狙いで、第2回に登壇したのは、放送・映像制作分野のNHKエンタープライズ。同社 常務取締役の松本俊博氏と、執行役員兼イノベーション戦略室長の福原哲哉氏が、コンテンツ制作とDXの関係について解説した。レポートの前編は、松本氏による「フレームを超えろ！リアルとバーチャルの融合進化～コンテンツ制作のDX～」の内容を報告する。

リアルとバーチャルを融合させる映像制作のDX

NHKエンタープライズは、テレビの制作会社です。数えてみたところ、年間1万8000もの映像コンテンツを制作しています。8割ほどがNHKの番組制作で、数多くのドラマ、「ダーウィンが来た」などの自然番組、「チコちゃんに叱られる」などのバラエティ、「映像の世紀バタフライエフェクト」や「ファミリーヒストリー」などのドキュメンタリー番組、アニメまで放送コンテンツのほとんどの領域を手掛けています。番組制作以外にも、「ロボコン」や展博などの大型イベント、ホームページ作成・SNS発信などのデジタルコンテンツの制作、コンテンツのデータベース化を行うアーカイブス事業や版権管理・許諾、出版・舞台化などのライセンス提供の事業も行っています。

従来はこれらの事業をそれぞれ個別に手掛けていたのですが、今、これらすべての領域に横串を刺して相乗効果を生み出す「総合コンテンツ企業」を目指しています。そのためにはDXが不可欠になってきます。多くの場合にDXはデジタルの世界だけ、コンピューターの中だけの話になりますが、NHKエンタープライズのDXでは、リアルとバーチャルの融合を目指しています。

インクルーシブな社会を実現する手話アバター「KIKI」

2023年秋に、1人のタレントを世に送り出しました。手話アバターの「KIKI」です。日本手話、アメリカ手話、国際手話を扱えるバーチャルな通訳者という位置づけです。機能とて手話を表現するだけでなく、インクルーシブな社会を実現するためのアイコンを目指しました。手話というのは、手や腕の動きだけではなく、顔の表情や体の動きなど空間を広く使うコミュニケーションです。KIKIはNHKの放送技術研究所が長年にわたって作ってきた約7000語の日本手話単語のデータベースを使用しており、空間を使ってなめらかな手話を実現することができます。

NHKには「天気・防災手話CG」のページがありますが、例えば大雨特別警報が発令されたようなときに瞬時に手話で警報を伝えるサービスを行っており、社会的に大きな意義があります。また、アバターであればVTuberのシステムと連携して手話を表現することも可能です。この際には遅延のない通信に期待するところです。また、機能として手話で伝えるだけでなく、パーソナリティを組み込むことでユーザーが育てていくアバターにすることもできます。分断のない社会を作るインタープリターとしての存在に期待しています。

聴覚障碍者のための世界規模の総合スポーツ競技大会であるデフリンピック（東京2025デフリンピック）が2025年11月に開催されます。東京2025デフリンピックの応援アンバサダーに、長濱ねるさんや川俣郁美さんと一緒にKIKIが選ばれました。これは分断のない社会を作るインタープリターとしての大きな活動になると考えています。

「手話言語は世界で300種類もあると言われています。日本で初めて開催されるデフリンピックをきっかけに、世界の人々をつなぐ架け橋になり、デフフレンドリーな社会を実現するために頑張ります」（KIKIのデモ映像から）

一方で手話のDXにはまだ多くの課題があります。多言語であり、日本の中でも違いがあります。多言語の辞書をどうやって効率的に作るのか、これまでのモーションキャプチャーの手法では単語の蓄積に時間がかかるため、その代わりに映像から骨格も含めてキャプチャできるようにすることも一つの方法です。そうすれば世界各国の手話の映像を送ってもらうだけで辞書を製作することが可能になります。また、手話を表現することに加えて、手話を読み取る技術の開発も求められています。手話を日本語に変換する技術と組み合わせることができれば、利便性が格段に向上するため、読み取るための技術を持っている企業との連携を模索しています。

映像から人間の身振りやスキルを3次元的にデジタル化する技術は、手話の読み取りだけでなく、演技やダンス、人間国宝の職人技などをデジタル化してアバターやロボットに移植する際にも有効です。これまでのように様々なコンテンツが2次元のフレームに収まっている時代から、ドキュメンタリーでも3次元的に収録できれば新たな記録としての価値が高まります。コンテンツの作り方も変わっていくのではないかと感じています。

超高精細3DCGとシミュレーションの融合がもたらす新しいコンテンツ

もう1つお話したいのが、超高精細3DCGと科学的シミュレーションのハイブリットです。「ダーウィンが来た」で実際に利用された手法です。この技術により、恐竜の生態を自然ドキュメンタリーとして再現できるようになりました。恐竜が生きているときのように、自然に動く映像を作り出せるようになったのです。

恐竜の生態の再現は、3次元データとシミュレーションを組み合わせることで映像の幅が広がる1つの例です。今では、街をまるごとスキャンするような技術も開発されていて、その中で気象条件の変化や地震などの災害のシミュレーションと組み合わせることで、正確に事象を表現することができます。番組としての取り組みだけでなく、その他の分野への応用も可能な技術です。

応用の1つとして、美術品や文化財の体験があります。美術品や文化財は、ガラスケースの中に展示されて触れられなかったり、展示の場所によって見る方向が限られていたりします。でも、例えば茶碗などであれば、手にとってあらゆる方向から見てみたいですよね。こうした要望を、超高精細3DCGとUnreal Engineを活用したリアルタイムレンダリングで実現しています。

実際に技術を応用したのが、大阪市立東洋陶磁美術館に収納されている国宝の茶碗「油滴天目茶碗」のシミュレーションです。900年程前に中国で作られた茶碗で、中国本国にも完全な形なものが残っていないという貴重なものです。これを、3Dでスキャンして、シミュレーションによりあらゆる方向から見られるようにしました。肉眼では難しいようなクローズアップした状態で見ることもできます。デジタル化したことで新しい視点が得られます。映像はゲームコントローラーで動かすことができるほか、油滴天目茶碗では茶碗型の「茶碗コントローラー」も用意しました。茶碗コントローラーを触って動かすと、油滴天目茶碗の映像も同じように動くことで、見たい方向から見られます。

普通のCGは、作ったものを設定したカメラワークでしか再現できません。でも、この3DCGはリアルタイムに好きなように見ることができます。また、光の反射などもリアルタイムにシミュレーションできるので、光源の状況による変化も見られます。例えば、使い方としては、茶室に油滴天目茶碗を置いた状況で、朝から日中、夕方になって蝋燭の光が灯されたときに、どのように見え方ができるか、また当時はお茶が白かったという研究がありますから白いお茶を入れたときにどのように見えるか、そのようなことを再現できます。これらは番組でも活用できる技術です。

こうした3DCGの活用は、博物館などで実物を保管しておけないようなものへの応用も考えられます。例えば工業製品のエンジンなど、高精細なスキャンをして取っておくことの意義があるでしょうし、渋谷の街や文化財の発掘現場なども、スキャンして保管しておくことができます。小さなものから大きなものまで、徹底的にスキャンして、リアルなものをできるだけ正確に残すことがコンテンツ制作にもつながってくると考えています。

また、コンテンツの復活にも力を入れています。過去の映像のDXと言えるもので、古いビデオ素材を4Kクオリティにする事業を行っています。ここで低品質の画像を高画質化するとき、2つの作業が求められます。1つはノイズの除去で、これは自動的に除去する映像解析処理プログラムを採用しています。もう1つが適切なグレーディング処理で、こちらはAIの時代ではありますが熟練のデザイナーの手作業を採用しています。一般的に高画質化の作業はAI処理を利用することが多いのですが、一括でAIに作業させるよりもコンテンツによって人の判断を加味することが大切です。わかりやすい例では、AIによる処理では背景に舞う雪をノイズとして消してしまうのですが、人間によるきめ細かい作業ならば雪を残すことができます。

ハイビジョンの時代が来る前の525の時代（走査線が525本のNTSC方式などが主流だったSDの時代）は、映像コンテンツにとっては残念な時代でした。その前のフィルムは情報量が多く、ハイビジョン以降も多くの情報が記録されています。でも525のコンテンツを今の環境で映すとクオリティ的に厳しいものがあります。そうした中で映像コンテンツの高画質化は重要な取り組みです。最近提供したコンテンツに、チェッカーズの映像があります。昔のビデオが現代の画質で蘇っていることを見ていただけると思います。

このように、いろいろな映像コンテンツを、テレビで眺めるものとしてだけでなく、インタラクティブに利用できるようにしていきたいですし、もっと広い空間で見せられるようにもしていきたいと思っています。DX化、デジタル化することで、これまでにない方らしいコンテンツを生み出していけたら良いと思います。