中央大学,国立がん研究センターの研究グループは,任意のステレオ内視鏡を用いた手術の記録動画から撮像対象表面の形状(表面各点までの距離を濃淡値に変換した深度画像)を推定し,さらに多視点裸眼3Dディスプレー上で表示可能な形式の動画に変換したコンテンツを,医用工学の関連分野における研究開発の一助とするべく中央大学の管理する動画アーカイブから公開を開始した(ニュースリリース)。
ステレオ画像から撮像対象表面の深度画像を推定する原理自体は従来知られていたが,任意のステレオ内視鏡の出力である左画像と右画像の対から深度画像を推定することの技術的難度は高く,多視点裸眼3Dディスプレー上で表示可能な形式の動画として公開に至った事例は世界初(表示例)。
開腹手術を記録したステレオ動画のある一時点における左画像と右画像の対から撮像対象表面各点までの距離を濃淡値に変換した深度画像を生成したうえで,左右へ回り込むようにしつつ多視点からなる平面画像を再描画した。映画のように多数の撮像装置は用いず,ただ一対の左画像および右画像から多視点画像を構成している。
実際に公開する動画コンテンツは開腹手術の一時点をアニメーション化したものではなく,ステレオ内視鏡の出力を記録した動画すなわち連続する時点からなり,二次元的には表示不能なもの。
左画像と右画像からなるステレオ画像を専用眼鏡で見る方式下では左視点と右視点を対とする単一方向からしか立体的に観察できないのとは対照的に,多視点裸眼3Dディスプレーはレンチキュラーレンズを介して見る角度ごとに異なる多視点画像を同時に複数の観察者へ提示する一方,個々の観察者はその立ち位置,両眼間の距離,各眼の方向などに応じた任意の2画像を捉えることにより立体感が得られるので,個々の観察者が,ディスプレーに映っている撮像対象に回り込むように頭を動かせば実際にその方向から観察できる。
深度画像を多視点裸眼3Dディスプレーに適用することは事例の一つであり,ほかにはVRゴーグルにより観察したり,深度画像を用い内視鏡操作ロボットの自律制御を高性能化するなど,医用工学における多種多様な先進的応用への可能性が広がるとしている。