Think the Earth

色や形を「耳で見る」ことができれば、私たちの知覚体験は新たな領域に広がる（装着しているのはSight Version1.0）　写真提供:Sightプロジェクト

「耳で見る」。コウモリやイルカなどは、そんな風に表現できる特殊能力を備えています。私たちにとって見ることと聴くことは、通常交差することのない別の感覚ですが、コウモリやイルカは、自ら発した超音波の反響音を耳でキャッチし、障害物や獲物となる虫の位置を正確にとらえることができるのです。「エコーロケーション」「反響定位」などと呼ばれています。

では、コウモリやイルカは耳を通して「どんな世界を見ているのだろう？」と、子どものような好奇心を入り口に、神経科学や機械学習の成果を応用した感覚拡張デバイス「Sight」の開発に乗り出したのが、東京大学の院生3人と多摩美大生による4人のチーム。東大で昨年12月、初めて開かれたハッカソン「JPHACKS」で2つの企業賞を得たことをきっかけに注目を浴び、今年度は独立行政法人IPA（情報処理推進機構）の未踏IT人材発掘・育成事業に採択されています。

トンネルを抜けるまでの風景や光の変化を「聴く」としたら、こうなるそうだ。昨年12月、東大のハッカソンで披露されたSight最初のプロトタイプによるデモ

Sightは、特殊カメラとスピーカーを搭載したウェアラブルデバイス。これまでも、視覚障害者が音の変化で障害物や進路を確認できるようにするといった個別のタスクに特化した研究は多くありましたが、Sightが目指すのは、「室内を歩き回ってスマホを探す」「財布からカードキーを探してドアを開ける」「隣の友だちに話しかける」など、個別のタスクに留まらず、日々何気なく行っている連続した生活動作を、目が見えなくても自然に行えるようになること。最終的にはデバイスを装着したまま一日24時間を過ごせるようになった結果、装着した人間にどんな変化が起こるのかを検証してみたいと言います。

先月下旬、日本科学未来館で開かれた「デジタルコンテンツEXPO」でSight Version2.0を実際に体験させてもらいました。デバイスをかぶると視界はさえぎられ、自ら頭を動かしたりすると、2種の音が聴こえてきます。サーッというラジオのノイズのような音が壁を示し、壁に近づくほど音量が増していきます。ポンッという音は物体を表します。仕組みを解説してもらうと、壁までの空間の広がりは、赤外線を照射する深度カメラの奥行き情報から推測し、サーッという連続音に置き換えているのだそうです。また、物体は可視光（RGB）カメラでとらえ、人工知能（AI）の手法のひとつとして注目されている深層学習（ディープラーニング）技術を使った計算式（アルゴリズム）で検出し、リズミカルな音に変換しているのだと言います。

Sightを装着しての歩行デモ（体験者は伏見さん）

東大大学院で学際情報学を専攻するメンバーの一人、伏見遼平さんは、「視覚情報は耳からの情報に比べてはるかに多く、得意とする処理分野も違うので、そのまま取り入れるとパンクしてしまう。膨大な情報をどう圧縮し、耳にとって自然な形に変換していくかが課題だった」と話していました。例えば、ウサギなら「ふわふわしていて」「耳が長くて」「目が2つある」といった抽象的な特徴から音を構成し、最終的にウサギだとする高レベルの判断は脳に委ねることを想定しています。ピクセル表現では30万次元にもおよぶ情報量から1000次元の視覚的な情報を抽出し、可聴化するのです。これまでに障害物や壁を認識して避けて歩くデモ（10メートル）や、顔やハンドサインの認識、リンゴかミカンかなど、簡単な物体を判別するデモには成功しているそうです。

伏見さんは自らデバイスを装着してデモを続けるなか、「視覚情報が耳から入るようになると、足元の障害物や進行方向を知ろうと、おじぎをするようなポーズを繰り返すなど、自分の動きがちょっとコミカルに変わってくることに気づいた」とも話していました。脳が新たな知覚体験を学習し、行動にも変化が表れることを示す興味深いエピソードです。見た目が似たモノ同士は、物体認識技術の応用で近い音が出るようにはなってきましたが、物体の識別は複雑で、同じリュックサックでも表向きの場合とひっくり返した場合、また、机の下の隠したときなども同じ物体と認識できるようにするためには、まだ改良の余地があると言います。

ハッカソンでは、「20年後の世界を展望する」と宣言していたSightチーム。健常者に新たな知覚体験を期待させるデバイスとしても、そして、もちろん視覚障害者を含めたユニバーサルデザインへの応用も楽しみなシステムです。今後、「『音で見る』世界を体験するワークショップ」も開催されるそうなので、興味のある方はぜひ彼らに問い合わせてみてください。