おもろい研究!君ならできる、ここでできる|新しい生物学・生命科学を拓く大学院|大阪大学大学院生命機能研究科

English

ステレオ立体視のために両眼の間で比較される脳内情報は何か?
- 左右網膜像の単なる位置ずれの検出ではなかった -

論文誌情報 Phil. Trans. R. Soc. B 371: 20150266 (2016)
著者 加藤大典(1),馬場美香(1,2),佐々木耕太(1,3),大澤五住(1,3)
  1. 大阪大学 大学院生命機能研究科
  2. 自然科学機構 生理学研究所
  3. 脳情報通信融合研究センター(CiNet)
論文タイトル Effects of generalized pooling on binocular disparity selectivity of neurons in the early visual cortex.
PubMed 27269609
研究室HP 視覚神経科学研究室〈大澤教授〉

要旨

ヒトを含めて二つの眼が顔の前面についている動物の脳では、両眼の見る画像間の小さな違い(両眼視差)を検出することで、精巧なステレオ立体視を実現していると考えられてきました。この研究では、ステレオ立体視のための脳内情報処理において「両眼の間で比較される情報は何か?」という根源的な問題を再提起し、理論的および実験的な検証により、大脳における視覚情報の表現を最大限に活用した、高精度なステレオ立体視の実現方法を解明しました。

解説

研究の背景

ステレオ立体視に関する従来の定説では、両眼に写る画像特徴の「位置ずれ」である両眼視差を正確に検出することが、その基本的原理であると考えられてきました。しかし、大脳の最初の視覚領野である一次視覚野(V1)では、神経細胞の発火により表現されるのは、物体の位置情報だけではありません。V1は、図1のように画像を小さな多数の「波の破片」(wavelet)の重ね合わせとして表現しており、個々の神経細胞は1個のある特定のwaveletfが、視野内の特定の場所に存在するかどうかだけを表現しています。Waveletは点ではなく広がりを持つので、V1神経細胞は、大まかな位置(X,Y)、波の細かさ(空間周波数;SF)、波の傾き角度(方位;OR)という視覚刺激のパラメータに選択的に反応することになります。このようなV1の情報表現の性質を総合的に取り入れた立体視の理論と実験的研究はこれまでありませんでした。


...

図1.一次視覚野(V1)細胞が検出している形の要素はwaveletになっており、さまざまな大きさや方位(角度)に反応する細胞がV1には存在します。


研究の概要

本研究では、左右画像の位置ずれに関する情報のみを神経細胞が伝達するのではなく、左右の画像をwaveletに分解した時のパラメータである位置、1空間周波数、方位のすべてについて、両眼間で比較されるという仮説を新たに提唱し、基礎的な証拠を報告しました。

この仮説の、理論的かつ実験的な検証を行いました。近年、人工のDeep Neural Netが脚光を浴びていますが、その階層構造の基本要素であるプーリング(図2)を取り入れた考察を行い、プーリングがステレオ立体視に関する視覚野細胞の反応特性に与える影響を調べることで、検証を行いました。ただし、従来のように視野を表す(X,Y)空間のみでプーリングを考えるのでなく、V1のwaveletを表す4つのパラメータ(X,Y,SF,OR)で定義される空間でプーリングを考えました。

...

図2.従来のプーリングの概念(a)を拡張した「一般化されたプーリング」(b)

左右網膜像を高い精度で比較するためには、左右パラメータが正確にマッチしている時にだけ反応する細胞にステレオ立体視の機能を担ってもらうと良いでしょう。例えば、Aというパラメータであれば、図3(a)のように刺激が45度の直線上に乗る時、つまり左右の刺激パラメータが厳密に一致した時にのみ細胞が反応すれば良いわけです。このような厳密さは細胞には実現できません。図3(b)は、左右のパラメータが良く一致している場合、図3(c)は左右の一致度が低い場合を表します。実際の神経細胞の反応を引き起こすためには、どの程度の左右パラメータの一致が必要でしょうか?

...

図3.刺激の左右の比較において、左右の一致度が高い場合(b)と低い場合(c)を示しています。

理論予測のために、これまでステレオ立体視のための両眼視差を検出する計算モデルでよく知られた、「視差エネルギーモデル」(大澤ら1990年)による計算をすると、図4Aのように、位置Xについてはある程度45度の反応パターンが見られますが、位置Y、SF、ORについては、左右の刺激の一致度が低くても反応します。この基本モデルではプーリングを想定していません。

これに対し、V1空間でのプーリングを取り入れた理論予測では、図4Bのように、分解されたwaveletのパラメータ(X,Y,SF,OR)のすべてについて、プーリングが両眼マッチングをよりシャープにする効果があることを発見しました。プーリングの度合いが大きいほど、より高いマッチング精度を持つ細胞ができます。

また、そのような反応特性を示す細胞がV1に実際に存在することを実験により確認しました。すなわち、両眼の画像をwaveletに分解し、さらにプーリングを行ってから左右の比較を行うことより、位置、空間周波数、方位のすべてについて、精密にマッチングがとれている刺激を両眼から受けた時にのみ反応する細胞が、V1に存在することを発見しました。

...

図4.基本モデルの理論予測Aでは、位置X以外の刺激パラメータについては、左右の一致度が低くても細胞が反応することがわかります。これに対し、プーリングを取り入れた新しいモデルでは、すべてのパラメータについて左右が一致した時のみ、細胞が反応します。


研究の意義

プーリングを取り入れた両眼情報処理メカニズムにより、ヒトや動物の奥行き知覚(3次元空間での面の傾きを含む)の高い精度や分解能が実現されていることが示唆されました。これにより、V1における視覚情報の表現形態を最大限に活用した、高精度なステレオ立体視の実現方法を解明しました。この知見をロボットビジョンなどに応用すれば、より高性能の立体視機能を持ったロボット等を実現できるでしょう。


備考
  1. この論文は、筆頭著者の加藤大典さん(2016年3月修了)の博士論文に基づいています。
  2. この論文には、理論部分の数学的導出を記載したAppendixと、追加の図からなるPowerPointファイルが付属しています。以下のアドレスからダウンロードできます。http://rstb.royalsocietypublishing.org/content/371/1697/20150266.figures-only
  3. この論文は、"Vision in our three-dimensional world"(3次元世界における視覚)と題された立体視の特集号に掲載されています。同じ号には、生命機能研究科の藤田一郎教授の論文も掲載されています。