名大ら,マルチモーダル対話型自動運転車を開発

名古屋大学は,徳島大学,アイシン精機と共同で,自動運転オープンソースソフトウェア「Autoware」を利用し,音声認識・顔画像認識・ジェスチャー認識を組み合わせたマルチモーダルインタフェースで,自動車を直観的に操作するシステムを開発した(ニュースリリース)。

近年,自動運転車の研究開発は急速に進展し,日米で公道において走行実験が行なわれるようになった。しかし,自動運転のための周囲のセンシングや車の制御などの技術は進展しているものの,実際に一般の人が自動運転車に乗り込み,目的の場所に移動するために,どのように「自動運転車を操作する」のかについての検討はあまり行なわれてこなかった。

自動運転車が真に社会に浸透し,一般の人が容易に利用できるようにするためには,自動運転車と人とのコミュニケーションが必要。その自動運転車のインタフェースの一つの理想形がタクシーだとする。

乗客は運転手に行き先を告げ,必要に応じて曲がる場所などを伝え,行き先に来たら停まってもらう,このようなやり取りは,音声による対話を中心に,ジェスチャーなどを交えながら交わされる。このやり取りを自動運転車との間でできないかという期待が持たれてきた。

今回研究グループは,音声対話を中心とし,ジェスチャや視線も情報伝達手段として用いることのできる,「人対人のコミュニケーション」から発想を得た「自動運転車用マルチモーダルインタフェースシステム」の開発に取り組んだ。

このシステムは,人(ユーザー)の音声,ジェスチャー,視線などはそれぞれ音声認識,深度センサー,映像処理を用いて認識をする。例えば,ユーザーが「右に曲がって」と発声すれば,システムはユーザの意図に従って,自動車に右に曲がるように制御を依頼し,実際に自動車は右に曲がる。

一方,音声とジェスチャーや視線を同時に用いる場合,それらの入力は並行して行なわれるので,ユーザーが自動運転車に伝えようとする「意図」はそれらを統一して理解する必要がある。例えば,ある建物を見ながら「あれは何?」と尋ねれば,「あれ」と言っている時にユーザーが見ている建物の名称を答えてほしい,という意図の理解が必要。

このような各入力手段(モダリティ)の時間的関係も考慮しながら,マルチモーダル理解を行ない,その意図に応じて応答し,車を制御するマルチモーダルインターフェースを備えた自動運転車を開発・実現した。

研究グループは今後,自動運転車に限らず,機械と人間の協調・共生を考えた場合,マルチモーダルインターフェースは自然で使いやすいインターフェースとして取り入れられていくと期待している。

その他関連ニュース

  • リコーら,フォークリフト用ステレオカメラ開発 2021年10月18日
  • 東北大ら,vSLAMの処理時間を1/60に削減 2021年10月13日
  • NECら,バックホウ自律運転の実証実験を実施 2021年09月14日
  • 日板のHUD対応ガラス,ベンツの最新モデルに採用 2021年08月05日
  • オンセミのセンサー,ロボットタクシーに採用 2021年07月15日
  • ローム,LiDAR向け高出力LDを開発 2021年07月15日
  • NII,誤差のあるセンサーでもソフト変換で安全に 2021年05月27日
  • 2030年自動運転市場,2019年比647倍に 2021年04月12日