KDDI総合研究所は,3D点群圧縮技術の最新の国際標準方式であるPCC(Point Cloud Compression)に対応したリアルタイムコーデックを用いた伝送実験に初めて成功した(ニュースリリース)。
高精細な3Dデータである点群を用いたコンテンツを伝送するには圧縮技術が不可欠となる。PCCは,点群圧縮技術の最新の国際標準方式。動きのある人物などの3D点群に適しているV-PCCと,点の位置の誤差が少なく建造物などの3D点群に適しているG-PCCの2方式がある。
V-PCCならびにG-PCCは圧縮性能を大幅に向上させており,モバイル回線での伝送を可能とする。一方で,圧縮にかかる処理負荷は高く,リアルタイム処理には課題があった。同社は2022年10月にV-PCCに対応したリアルタイムエンコーダーを開発しており,今回はそれに続く取り組み。
今回,V-PCCによる伝送実験は,事前に生成した人物の高密度3D点群(約2000万点/秒)を,同社(埼玉県ふじみ野市)にあるV-PCCのリアルタイムエンコーダーで圧縮し,5Gを経由してKDDI research atelier(東京都港区)に安定的に伝送できることを実証した。
また,V-PCCを用いた圧縮における処理速度を約400倍高速化し,PC上のソフトウェアによるリアルタイムエンコードを実現した。V-PCCに対応したリアルタイムコーデックを用いて3D点群の伝送ができることにより,撮影した映像をそのままメタバースに参加させるといったイベント体験が期待される。
そこで,被写体を3D点群としてスキャンし,リアルタイムコーデックを用いて遠隔の視聴拠点までライブ配信してホログラフィックステージやスマートフォンなどでコンテンツを視聴する実証も行なった。
G-PCCによる伝送実験は,3Dレーザースキャナーで取得した社屋の点群(約30万点/秒)と,事前にドローンを利用して生成した建造物の広域点群のそれぞれを,同社(埼玉県ふじみ野市)に設置したノートPC上のG-PCCのリアルタイムエンコーダーで圧縮し,5G/LTEを経由してKDDI research atelierに安定的に伝送できることを実証した。
高速化には,複数のフレームを並列に処理する独自技術を導入した。この伝送実験では約30万点/秒の点群データを利用したが,エンコーダーとしては約200万点/秒までのリアルタイム処理に対応するという。
G-PCCに対応したリアルタイムコーデックを用いて3D点群の伝送ができることにより,例えばドローンを利用した災害時の被災状況の把握や,インフラ構築時の遠隔作業支援によるDXの促進などが期待されるとしている。