交通事故の削減や渋滞の解消、ドライバーの人手不足解消など、自動運転技術には大きな期待が持たれています。すでに運転の一部が自動化された自動車も販売されていますが、広く普及するまでにはまだまだ課題があるようです。今回、自動運転運行のベースとなる三次元地図の更新に関する研究・調査を実施された田崎豪先生に、その成果や今後の展望などについてお聞きしました。
「ロボットの目」を使った技術を
自動運転に活かす
――先生の研究されている分野ついて教えてください。
私の研究しているのは、「ロボットビジョン」という分野になります。ロボットビジョンとは、簡単に言えばロボットの目です。人は情報の80％以上を視覚から得ていると言われていますが、研究室ではロボットの目となるカメラのセンシング能力を使い、ロボットに周辺の環境を理解させる研究をしています。これを移動ロボットに応用すれば自動運転になりますし、作業ロボットに応用すれば商品を自動で棚に陳列するロボットなどを作ることができます。
そもそも私がロボットに興味を持ったのは、子どもの頃にテレビのドラえもんを見て「ロボットを作ってみたい」と思ったことがきっかけでした。そんな気持ちのまま大きくなり、高校生の時にAIという技術に出会ったことで、ロボットの知能について学びたいと思うようになりました。
大学では情報系に進み、ロボットの知覚による音（聴覚）と画像（視覚）の認識について研究をしてきました。卒業後に株式会社東芝に入社したのですが、画像のほうが製品の応用分野が広いということで、ロボットビジョンの研究を進めました。以来、研究分野は変わらずに続いています。
――今回、調査・研究のテーマに三次元地図データの更新を選ばれた理由を教えてください。
自動運転で車を走らせる場合、高精度な三次元地図データが走行のベースとなります。GPSで位置情報を取得する方法もありますが、GPSだけでは大まかな位置は推定できても若干のずれが生じます。自動車の位置を正確に把握するためには、数cm単位という精緻な地図情報が必要なのです。
三次元地図データを作るには、レーザーセンサーを多数搭載した専用車両で計測する方法が一般的です。この計測用車両はかなり高価なもので、一度計測すると多大な手間と費用がかかります。しかし、自動車が走行する沿道は、古い建物が取り壊されたり、新しい建物が建てられたりと、常に変化していますから、地図もそれに合わせて修正する必要があります。修正のたびに再計測をしていると、それだけ手間も費用もかかるわけです。
そこで考えたのが、高価な計測用車両に代わり、自動車のドライブレコーダーのカメラの画像で地図を更新することでした。ドライブレコーダーのカメラの画像は二次元なので、その画像だけで三次元情報を復元するのは大変ですが、更新ならできるのではないかと思ったのです。
――それができると、三次元地図の更新も効率的にできますね。
自動運転車の多くは三次元地図がないと走行できないため、現在は、一部の幹線道路やデモンストレーションを行う道路でなければ完全な自動運転はできません。ですが、今回の調査・研究によって、自動車のドライブレコーダーのカメラの画像で地図の更新ができるようになれば、更新のスピードも早くなりますし、計測できる場所がもっと広がることも期待できます。
また、この技術が進んでいけば、カメラの画像だけで高精度な三次元地図ができるようになるかもしれません。すると幹線道路などでなくてもさまざまな地図ができ、自動運転も普及すると思います。
三次元地図データを
カメラの画像だけで更新する
――今回の研究・調査の内容について教えてください。
今回の調査・研究では、三次元地図データを更新するために、次の３つの技術を開発しました。まず、カメラ画像の取得位置を推定する「自己位置推定技術」、次にカメラの画像の中から地図の更新に使用しない物体を選び出す「物体検出技術」、最後にカメラの画像から更新する建物等の固定物体までの距離を計る「距離計測技術」です。１つずつ簡単にご紹介していきましょう。
最初に取り組んだのが、「自己位置推定技術」です。三次元地図データを作成する際には、通常はレーザーによって測量用車両の位置を推定しています。しかし、今回はカメラの二次元画像だけで、その画像を写したカメラがどの地点にあるのかを推定しなくてはなりません。自己位置の推定にはディープニューラルネットワーク（DNN・AIの深層学習法の１つ）が用いられることが多いのですが、従来のDNNは路面に対する高さ方向の位置推定の精度が高い一方で、水平方向の精度はあまり高くないという問題がありました。
そこで、高さ方向と水平方向を一度に測るのではなく、まず、高さ方向のみの推定を行い、誤差はないという前提で、別のAIで水平方向のみの推定を行うようにしました。推定を２段階に分けることで、「自己位置推定」の精度をより高めることができました。
――カメラで写した画像の位置がわからないと、地図上のどこを更新するのかもわからないですよね。次の「物体検出技術」とはどのようなものですか？
カメラの画像には人や車など、地図の更新に使用しない動的物体も写っています。これらを地図の更新に必要な建物などの固定物体と区別するために、画像から動的物体を検出する技術を考えました。ここでも、先ほどとは別のディープニューラルネットワーク（DNN）を用います。一般的に、物体を検出する場合にはセマンティックセグメンテーションという画像の画素単位で領域が分けられるAIと、外接矩形（物体の外側に接する長方形）単位で物体を検出できる物体検出AIを用います。今回の調査でもこの２つを用いていますが、それぞれに異なる長所・短所があることに着目しました。１つの固定物体を２つのAIでそれぞれ「動的物体らしさ」を計算し、その結果を統合するという手法を採用したところ、それぞれのAI単体で算出するよりも物体検出の精度が高くなりました。
障害物を見つけながら、
距離も測る実証実験
――では、「距離計測技術」についても教えてください。
例えば、カメラの画像に更新したい建物が写っていた場合、画像の中にある建物同士の相対的な距離は測れても、カメラからの距離が何m何cmという正確な数値で計測することはできません。そこが不明なままでは建物の位置が特定できず、三次元地図を正しく更新することもできません。そこで、私たちは更新の元となる三次元地図に単位付きの距離があることに着目しました。三次元地図データをカメラの画像と併せて使用することで、更新したい建物までの距離を計測できるのではないかと考えたのです。
AIには、画像の障害物（更新したい建物）を検出するという作業と、障害物までの距離を測定するという作業を同時にさせることにしました。すると、AIも同時に２つの作業をこなそうとして、結果的に三次元地図データにない障害物の距離も測れるようになったのです。障害物の検出法や距離測定の技術は今までにもいくつかあるのですが、更新の元になる地図を使い、この２つを同時に行ったという点は、今回の技術の新しいところだと思います。
調査では、CG上に地図内に動的物体100個と更新対象となる1辺約1mの固定物体100個を配置し、地図更新に関する評価を行いました。上記の開発したAIを用いて動的物体と固定物体を区別しながら、更新対象となる固定物体までの距離を計測することで、地図を更新することができました。また、更新された地図上の固定物体の位置について、距離の誤差を計測してみたところ、平均約0.15mでした。
下記は、距離計測のシミュレーションのために作った画像です。Aがドライブレコーダーのカメラの画像（ここではCG）、Bが更新前の地図データです。これらを同時に入力することで、Aの画像で検出されて、Bの地図には存在しない植樹や街灯などの固定物体が、Cでは単位付きで距離を計測できたことがわかります。
距離計測技術という種をまき、
多方面に花を咲かせたい
――今回の調査・研究で特に印象深かったことはありますか？
調査・研究では、まずCGデータでの検証を行ったため、それが現実でも同じ結果が得られるのかがわかりませんでした。それで、実際にロボットにカメラを搭載し、データ上で見つけた障害物を本当に避けられるのかの実証実験を行いました。
下の図は、廊下を走っているロボットが障害物を避けられるかどうかを実験したものです。あらかじめ屋内を計測車両でスキャンして三次元地図データを作成し、ロボットに搭載したカメラの画像と合わせて入力することで、目の前の障害物を見つけ、距離を測ってきちんと避けられるかどうかを試したところ、見事に避けることができました。
データ上はできていても、実際にロボットが避けてくれた時には、本当にうれしかったです。初めは「三次元地図のデータを更新できればいい」くらいの気持ちでしたが、実際に私たちの開発した技術によって、三次元地図データとロボットのカメラの画像のみで障害物を避けることができました。この技術を使えば、自動運転車にレーザーセンサーを搭載しなくても、ドライブレコーダーのカメラだけで障害物を検出し、自動運転をすることが可能になるかもしれません。この結果には、生徒と一緒に高揚感を覚えました。
――今後のご研究については、どのようにお考えですか？
今回の調査・研究で、カメラの画像と地図で距離を測定できる技術を開発しました。この技術は自動運転だけではなく、作業ロボットにも応用できるのと考えています。
三次元地図というと道路をイメージしがちですが、実は、どんな場所でも地図を作ることは可能です。例えば、家や施設の屋内の地図を作っておくと、棚からなくなったものや新たに追加されたものがわかり、作業ロボットが自動で片付けることができるかもしれません。最初に屋内をレーザーセンサーでスキャンするコストはかかりますが、それ以降はロボットのカメラの画像だけで更新し、コストを大幅に抑えることができるでしょう。もちろん、棚の片付けだけでなく、この技術はさまざまな分野に応用することができます。今回の調査・研究から生まれた技術の種をいろいろなところにまき、花を咲かせることができればと思っています。
過去の実績に関わらず、
プロポーザルの内容を評価してくれる助成制度
研究室を立ち上げて間もない頃、研究費をどのように工面するかと考えていた時に、学会誌のチラシでKDDI財団の助成制度を知りました。私はずっと企業に勤務し、転職して現職に就いたので大学での研究実績が多くありません。「どこの誰ともわからない人間を選んでくれるのか」と思いつつ、試しに申請をしてみたというのが、正直なところです。それだけに助成対象としていただけた時は、「実績がなくてもプロポーザルが良ければ助成対象になれる」と言われているようでうれしかったです。
この助成制度の良い点は２つあると思います。１つは、3年というスパンで助成が受けられることです。助成制度というと単年使い切りというものが多い中、長期間利用できるということに安心感がありました。そしてもう１つが、変更点にもとても柔軟に対応していただけることです。助成期間がコロナ禍であったため、当初の予定を変更せざるを得ないところもあったのですが、いろいろな変更にもご対応いただけたのは本当に助かりました。
若い研究者や企業から転職した研究者には、KDDI財団の助成制度を利用することをお勧めしたいですね。これまでの実績にこだわらず、良いプロポーザルを作成し、挑戦してください。
