「ローカル5Gやリアルタイムレンダリングの技術を活用し新しい映像コンテンツを創出」福原哲哉（NHKエンタープライズ）
—5GMFミリ波普及推進ワークショップ／日本の産業技術最前線レポート

第5世代モバイル推進フォーラム（5GMF）は、2024年1月にミリ波普及推進ワークショップ「日本の産業技術最前線」の第2回を開催した。幅広く通信業界以外の方とも交流する場を持つことが狙いで、第2回に登壇したのは、放送・映像制作分野のNHKエンタープライズ。同社 常務取締役の松本俊博氏と、執行役員兼イノベーション戦略室長の福原哲哉氏が、コンテンツ制作とDXの関係について解説した。レポートの後編は、福原氏によるコンテンツ制作の現場におけるDXについての講演内容を報告する。

技術を活用した事業を創出するための有機的なつながり

今回、NHKエンタープライズのDXの取り組みとして、事例をいくつか紹介します。これらは新しい技術を使ったものですが、どうやって事業にしていくかが一番の課題だと思いますし、皆さんの関心事でもあるでしょう。「技術に勝って事業に負ける」と言われた時代があります。技術だけでは解決できないもう1つの課題としての事業の創出について、考えていきたいと思います。技術を活用した事業を作っていく上では、1つ1つが有機的につながっているプロジェクトが必要です。部分最適ではビジネスにならないと考えています。

コンテンツ制作の現場のDXとして紹介するのは、ローカル5Gを使ったものと、リアルタイムレンダリングを活用したものの2つです。前者は「ローカル5Gによる制作ワークフローのDX　～演出をケーブルから解放する～」で、ローカル5GをNHKエンタープライズではどう活用しているかをお話します。後者は「リアルタイムレンダリングによる空間演出の高度化　～Beyond The Frame　映像体験を“超”拡張する～」という内容です。会場の中でリアルタイムにレンダリングすることで、空間にある様々な映像表示をデザインできるようになります。いずれもコンテンツの表現の幅を広げるだけでなく、ワークフローのDXにもつながる取り組みです。

ローカル5Gで演出やコンテンツの幅を拡張

ローカル5Gは、すでに農業や工業などの現場業務の効率性アップに向けて活用されています。このローカル5GをNHKエンタープライズでは、演出の拡張などに応用することを考えました。

第一弾が2021年度にLINE CUBE SHIBUYA（渋谷公会堂）で実施した実証実験です。ここで何をしたかというと、ローカル5Gで接続したワイヤレスのカメラを使って、カメラの自由度を高めたのです。ステージで配信したり中継したりするときはマルチカメラ構成で撮影しますが、通常は全部のカメラにケーブルがついていて、カメラの移動範囲が制約されます。ケーブルがなければカメラマンが自由に動き回れますし、ケーブルがあることで撮影できないアングルの撮影もできます。演出家からはさまざまな撮影の要望が出ますが、ローカル5Gを活用することで、カメラをケーブルから解放し、より自由な演出を実現しよう、というトライアルです。

実証実験では、ローカル5Gにより自由度が増したことを活かした撮影構成を試しました。ステージ上では、カメラマンがひとりでスタディカムを使用しました。ケーブルな無いため、さばきスタッフも必要なく、ダンサーの間を自由に動き回りながらの撮影が可能です。また、遠隔操作で動くリモートコントロールカメラも投入しました。客席の間を自由に移動できるレールカメラや、上部に吊って移動できるロープカメラなどを使い、ケーブルがあっては撮影できないアングルやカメラワークを実現しました。実証実験では、１つの基地局を使い、これらのケーブルを取り払ったマルチカメラの映像をワイヤレスで送って、ライブでスイッチングして遅延なく伝送できることを確認しました。

この際の実験では、HD映像であれば、9台のカメラ映像を同時に伝送できることが確認できました。4K解像度で５台程度のカメラ映像の伝送が可能となることを目指しましたが、この時点では、アップリンクにより一層の帯域を確保することが課題でした。

第2弾となる2022年度の実証実験では、1年目の屋内のステージでのアップリンクの伝送に加えて、いくつかの要件を加えました。1つが、ローカル5Gに載せる情報を増やすことです。1年目はカメラ映像をアップリンクで伝送するだけでした。しかし撮影現場では、スイッチャーがどのように画面を選択しているかが分かる「送り返し」、スタッフ間の遠隔会話を伝える「インカム」、さまざまな情報回路が不可欠です。全部ひっくるめてローカル5Gに載せたいということで、ケーブルレスシステムの応用範囲を広げる実証しました。

2つ目は、無線エリアの拡大です。屋内ではなく、屋外で活用できるかを試してみようということで、小型基地局や複数の分散アンテナ(DAS)を使って、低コストで柔軟なエリア設計を実証しました。もう1つの技術的なポイントは、準同期局を使うことで、上り回線の帯域を拡大する手法を検討した点です。

これらの技術的な課題を検証しながら、新しいコンテンツ体験や価値を創出することを目指しました。具体的には、NHKエンタープライズが管理している時代劇などのロケ地であるワークステーション江戸（つくばみらい市）に2つの基地局を使ったローカル5Gのエリアを構築しました。そこで「忍たま乱太郎」のミュージカルの舞台を屋外へと持ち出し、新しいコンテンツ作りに挑戦しました。

現地にはゾーンを2つ作り、物語が同時並行で進行していき、最終的に1つのドラマに集約されるコンテンツです。「新しいコンテンツ価値の創出」として1ソースから3つのコンテンツを作り出しました。1つは、当日、会場でライブ配信コンテンツを手元のスマホに提供するリアルタイムの視聴体験、2つ目はドラマの進行を目撃するイベントとしての体験、そして3つ目が2つのゾーンのストーリーが融合した完全版の作品を後日アーカイブ配信やDVDなどで提供するものです。ローカル5Gを利用することで、1ソースを3つのコンテンツにマルチユースを実現しました。技術を活用した事業化や、マネタイズ、ビジネス価値の創出についての検討を進めた実証事例です。

16：9のフレームを飛び出した映像表現をリアルタイムに実現

事例の2つ目が、リアルタイムレンダリングによる空間演出の高度化です。Beyond The Frameというコンセプトで、従来の16:9などの画面のフレームを飛び出し、映像体験を“超”拡張することを目指しました。技術の発展とともに映像とディスプレイの高解像度化などが進んでいますが、従来の見本市や展示会では、ブース内でコーナーを区切ってモニターを使って映像展示をする形式が主流です。私たちは、会場の中でリアルタイムにレンダリングすることで、ブースを様々なモードで可変的に空間演出する手法に挑戦しました。

それが、2023年のInterBeeで展示した「超体験、メディア技術で拓く未来」の事例です。複数のLEDパネルにリアルタイムでレンダリングして空間演出を行いました。従来の現場では、10の展示内容があったら、ブースを10に細分化して、それぞれにモニターを置いて説明員が解説していました。この方法ですと16:9の画面の範囲でしか説明できません。これに対して、今回の手法を使えば、複数の画面を様々に組み合わせて、空間全体を使ってプレゼンテーションすることが可能となります。

今回の展示では、現場がいろんなモードに可変的に変わる仕組みを作りました。紹介したいプロジェクトが10個あるとしたら、時間帯やモードを変えることで、すべてのプロジェクトが説明できますよというものです。動的に変化可能で、プロモーションビデオを流す「PVモード」、油滴天目茶碗やゴッホのひまわりを体験する「インタラクティブモード」、プレゼン用の「ショータイムモード」、個別のプロジェクトをパネルの複数面を活用して紹介できる「説明モード」の4モードを用意しました。それぞれをリアルタイムに切り替えることができるので、手話アバターのKIKIの話を聞きたい人が来たらある面だけをその説明に変えることもできますし、突然来訪したVIPに向けてはインタラクティブモードで油滴天目茶碗のデモを大々的に行うこともできます。切り替えが瞬時にできることで、インタラクティブ性、リアルタイム性を持った展示が可能になります。

さらに、この展示の仕組みを使うとワークフローもDXできます。作り方が変わるのです。まずプレビジュアライゼーションとして、事前に映像表示をシミュレーションできます。当日の会場で組んでみるまでわからない展示ではなく、シミュレーションで内容が確認できます。また当日のコンテンツの入れ替えも容易です。制作時点でも同時多発的に制作プロセスを並行でき、シミュレーションなどで試すチャンスがたくさんありますから、クリエイティビティのクオリティ向上にもつながります。

今後は、体験が空間化していく中で、こうしたワークフローのDXへの現場ニーズが高まっていくのではないかと思います。また体験が深化するとともに、ユーザとの関係性もより多様化して、プロジェクトにもより複雑にかつ有機的につながりが要求されるようになってきます。技術者も演出家も、このユーザニーズに応えたいと考えています。ステークホルダーが多様になっていくプロジェクトを有機的につなげてマネージしていくためには、技術へのリテラシーを持ちながらプロジェクトを進行できる人材も重要になってきています。先端技術を活用した事業開発を行ううえで、高度化したプロジェクトを進行するプロジェクトマネジャーの役割がますます重要になってくるのではないでしょうか。