公大ら，1枚の画像からブドウの房の3次元形状を推定

大阪公立大学と大阪府立環境農林水産総合研究所は，画角が180度ある魚眼レンズを用いることで，房との距離を一定に保ったまま房全体を撮影し，1枚の画像からブドウの房の3次元形状推定に成功した（ニュースリリース）。

ブドウ栽培における摘粒作業では，房につく実の配置を考慮して間引く実を決めるため，間引く実の自動選定には，房につく実の3次元位置情報の推定が必要となっている。

3次元位置情報の取得には深度センサを用いることが多いが，太陽光や実の光の反射特性により計測が難しい。また他にも複数の方向から撮影した画像を利用し，三角測量を応用して3次元形状の推定を行なうStructure from Motion（SfM）法もあるが，模様のない球状のものが複数ある物体は復元対象ではなく，復元に失敗してしまう。

そこで今回の研究では，1枚の画像から奥行き情報を推定する単眼深度推定法に着目した。一つの固定されていないカメラで撮影した動画をフレームごとに画像として切り取った場合，それぞれのフレームが撮影された時のカメラの位置や向きが異なっているため，カメラの位置と向きの変化に応じてずれが生じている。

このずれの大きさを手がかりに，ずれが小さくなるように奥行きやカメラの位置・向きを調節し，与えられた画像に対する奥行きとカメラ位置を推定する。この調節をDeep Neural Networkを用いて学習することで，1枚の画像から3次元情報である奥行きを推定できる。

ブドウの房の3次元形状推定には房の周り1周の撮影が必要。一般的なカメラは画角が45度程度しかなく，房が画像からはみ出ないように1周を撮影するためには，画角を考慮してカメラと房の距離を一定に保ちながらの撮影が必要となっている。

しかし，ブドウ棚には多くの房があり，カメラと房の距離を一定に保つことは困難。また，棚の高さは 160cmほどのため，かがみながら房を撮影する必要がある。そこで，カメラと房の距離を一定にしなくても，房を画像からはみ出さずに撮影できる魚眼レンズを用いた。

魚眼レンズは画角が180度あるため，一般的なカメラとは画像撮影時の投影方法が異なり，撮影された画像は大きく歪んでいる。そこで，魚眼レンズの投影方法を単眼深度推定手法に導入することで，1枚の画像からブドウの房の3次元形状を推定することに成功した。

研究グループは今後，ブドウの房の周囲を撮影した全ての画像から推定した一つの房の3次元形状を用いて，摘粒で間引く実を自動的に選定するアルゴリズムを開発し，間引くべき実の情報を提示する摘粒支援システムの実現を目指すとしている。