GET AR

世界を変えるARニュースメディア

ARヘッドセット開発企業metaの神経科学者が語る、神経科学とARデザイン

2017/03/07
 2366

自然な機械とは私たちの身体と脳と近しくなるコンピュータである。ARヘッドセットを含む、ウェアラブルなものは脳に自然にマッチするものになることが狙いのはず。ARデザインを作成する、デザイナーは脳がどのように機能するのかを理解することが重要だ。

今回は、脳が空間をどのように理解し、解釈し、環境と情報のやり取りを行うかについて明らかにしていく。開発者やデザイナーに、ニューロインターフェースの原則の価値を理解し、この科学をすぐに実行可能なデザインに変換する、強固で一般的な根拠を提供する内容になっている。

理解とは私たちが世界を能動的に知る最初のステージだ。私たちがナチュラルインターフェースを提供しようと計画している場合、人々がどのように理解するのかを知る必要がある。これに関連して、部分的にのみ重なる2つのコンセプト、知覚と理解を一つにまとめてみた。

関連記事
ARヘッドセットmeta2、Pokemon Goには最適

ARヘッドセット開発企業meta、自然な機械とはなにかを語る

meta、ARの背後にある神経科学やデザインについて

ARヘッドセットMeta2、出荷延期。2016年末には開発者キット出荷予定

脳の知覚と理解

脳の知覚について

私たちの感覚がさまざまな形態のエネルギーを神経信号に変換させなければならないその方法を意味する。たとえば、網膜は視覚のための知覚臓器で、蝸牛は聴覚系の臓器である。理解という場合、脳が生の感覚入力を、私たちが実際の生活の中で解釈し使用する有意な情報に変換させる複雑な一連の動きを意味する。

脳の理解について

顔や物体を認識して、その物体に対して取る行動を考えることは、一種の理解する行動である。デジタルユーザーのインターフェースとやり取りする場合、あるいはアフォーダンス(「物体の外観が適切な行動とはっきりと結びついている時」として定義される。たとえば、栓抜きは瓶の栓を開けるという行為を明確に可能にしなければならない)が可能なのはデジタルツールのおかげだとすることも、一種の理解という行動である。

脳のニューロインターフェースとARのUIの関係について

私たちは様々なチャンネルを通して世界を感じて理解する。しかし、私たちは間違いなく目を使う動物だ。実際、人間の大脳皮質の3分の1は視覚に関係している。言い換えれば、これらの領域のニューロンは、視覚情報で刺激を受けた場合に活性化するということだ。脳が目からの入力情報を認識と運動の相互作用に変換するためにどのように設計されているかを理解すれば、開発者やデザイナーは私たちのニューロインターフェースデザインをしっかり採用し、脳はそのために用意されたARアプリケーションを構築することに邁進するだろう。したがって、この記事と次の記事では視覚の一般的な特性について取り上げていく。ユーザーの周りの空間の中でデジタルインターフェースを拡張させるとき、AR開発者なら当然分かっている特性だ。今日は下位の3つの特性を紹介する。このシリーズの次の投稿で、上位の視覚認識、アフォーダンス、ビジュアルアクションについて語っていく。視覚系は以下に述べていることよりも複雑な仕組みだ。ヒトの感覚および理解に関する神経科学研究の良い入門書として、ハーバード大学、カリフォルニア大学バークレー校、パデュー大学の一流の科学者たちが著した本「Sensation & Perception, Fourth Edition」をお勧めしておこう。

視覚系は機能を区分化する

私たちの周りにある多くのAI、たとえばGoogleが写真の中から場所や人物を瞬時に検索できるようにする機能をサポートするデュープニューラルネットワーク(深層神経回路網)のように、視覚系は複雑なパターンをフィードフォワード的(一つの方向に順送りに進める)に分類する。まず、より単純でより判読できる小さなパターンに分解し、分解されたパターンはより深い層に集められる。カメラのセンサのような網膜は、光受容体(錐体視細胞と桿体視細胞)と呼ばれる個別の(だが特殊化した)ピクセルで世界を感知する。そして情報を驚くほど深く特殊化した一連の神経層に伝達する。この神経層はその構成要素を有意な物体、最終的には私たちが生活し行動している目で見える景観に再構築するのだ。

脳の視覚野の中に空間的に閉じ込められたチャンネルは、線と境界の大きさ、局部および全体の動きのパターン、色、立体視差、対比、輪郭の連続性、組織の規則性などを選択的に記号化。視野の様々な部分が特定の特性(色、対比、動作)に対して別の感度をもっている。この豊富な特性が統合され、特定の「認知モデル」に適合するとき、目に見える内容は認識され、アフォーダンスに成功。ARのインターフェースは現実世界の他の構成要素と同じように空間の中に分散されている。そして、各種の特性がどのように視野の様々な部分に区分化されるかを正確に理解することは、推奨されるに留まらず、実際に必要なことだ。

3Dは脳内にあり

私たちがどんなときでも網膜に当たる光の筋について考えるとき、空間の3次元構造に関する直接的情報はない。私たちは目に見える世界を一対の2Dセンサ、すなわち目の裏にある左右の網膜で感知。この平面的な情報は視覚野の初期モジュールに、2つの目が同じ物体上に持つ若干ずれた水平的視点を反映させるように、マッピングされる。

像の歪みが立体映像を生む

像の横方向へのずれは、「網膜歪覚」と呼ばれるが、様々な視差を様々なレベルで感知し、私たちの立体視覚の基盤を構成する脳の視覚野における「両眼」ニューロンにより解釈される。近くにある物体は遠くにある物体よりも視差が大きい。遠方の物体は2つの目に非常に似た方法で反映。しかし、立体視覚は私たちの周りの空間的環境の構成について部分的な情報しか提供していない。そして、短い距離にある場合のみ奥行きに関する情報を伝達する。そのような環境化でお互いを完全に描写するために、脳はその歪み情報が「ピクトリアルキュー」と呼ばれる豊富な一連の画像キュー(サイン)と統合され奥行きを出すことを要求。これらのキュー(合図、サイン)は、一般的にルネッサンス時代の芸術家により空間と奥行きのある場面を表現するために導入されたものなので、「ピクトリアル」(絵のような)と呼ばれるが、それらはすべて単眼画像である(つまり、画家たちは片目だけを使って絵を描いている)。閉塞が主なキューで、すべての中でもっとも強力。近くにある物体は遠くにある物体を見えなくしてしまう。

見えるもの寸法も必須要件

また、寸法も重要だ。2つの同じ物体の相対的な寸法からそれらの相対的距離が分かる。しかし、私たちはよく知っている物体の距離をその見かけの大きさからも判別。視差や遠近感は別の強力なキューだ。より抽象的に、立体よりも高度に見えるとき、脳は私たちの周りに空間を構築するためにこれらのキューを測るので、これらのキューを大きく信頼する。立体のみを優先し、これらのキューを排除すれば、標準化されたUIの設計が傷つくかもしれない。

視覚系には要注意!

ゴリラテストというものをご存知ない方は、この動画を見れば試したくなるかもしれない。

どんなときでも、私たちの網膜は108ビットの情報を受けることを示唆する研究がある。人工センサで比喩を作ることにより、視覚系が10Hzから100Hz弱まで変化する割合で(視覚系全域および刺激を受ける範囲において)サンプルを取るということができる。このようなアウトプットは1ビット、すなわち、時々1秒で下される二者択一にまで低下するかもしれない(たとえば、手に入る視覚情報に基づき、右折したり左折する、ボタンAあるいはBを押す、など)。

これは、驚くべき圧迫の問題を私たちの視覚および認識系に与える。神経科学者が一般的に「注意メカニズム」と呼ぶ、関連情報を選択するメカニズムを私たちが持ちえたことにより進化が可能になったというものだ。一般に視覚的および感覚的注意は、手元の作業に関連するものだけを選択し、関連しないものを捨てることを可能にする。このブログの読者の多くが、そして私もだが、ゴリラテストを最初に行ったとき、その中のシーンの驚くべき部分を見逃していたかもしれないのはそのため。

視覚的注意の最初のタイプ「トップダウン注意」

注意とは複雑な神経と認識により行う作業である。しかし、視覚系では選別は主な2つの方法で引き起こされる。いずれもAR開発者にとっては非常に洞察にとんだ方法だ。視覚的注意の最初のタイプは、「トップダウン注意」と呼ばれる。生産的、創造的、あるいは娯楽的作業にかかわっているとき、環境の中から自分たちの仕事に役立つであろう物をすべて選択しようとする。それらは的を絞った使える視覚情報の一部。この場合、脳は私たちの意図と意欲に耳を貸し、有益であることが分かっているものすべてを強化する。トップダウン注意は、散らばった場面の中で個々の要素を追跡し見つけることのできる能力により可能な視覚探索のメカニズムにより支配。開発者やARデザイナーの能力は、UIの関連要素に関する視覚的に効率的なオブジェクト区分化を提供することにより、ユーザーのタスクを効率的に引き出す方法を理解する能力だ(これは、視覚系が機能区分化を実行する方法を知るのが最適な方法だ)。適切な視覚デザインを導く(および導かれる)もう一つの要素は、オブジェクトアフォーダンスである。これについては次回のブログ記事で詳細を述べる。

視覚的注意の2番目のタイプ「ボトムアップ注意」

視覚的注意の2番目のタイプは、「ボトムアップ注意」と呼ばれるものだ。会話をしたり机の上で作業を行っている時、カメラのフラッシュが焚かれると、全体の流れが中断し、やむを得ずまた自動的にそのフラッシュの源の方に顔を向けてしまう。よくも自然は流れを速やかに中断し、危険であるかもしれない突然の刺激に反応するというメカニズムを私たちに植え付けてくれたものだ。私たちのデバイスで視覚的および聴覚的に送られる通知は、ユーザーインターフェースにおけるこの種の不本意に向けてしまう注意の良く知られた例だ。

このような相補的情報選別を行う脳の回路は、ボトムアップ注意を支援するモジュールがトップダウン注意のメカニズムにとって回路ブレーカーとして働くように統合。UIの中でこれら2つの注意のタイプの間のバランスは、開発者が適切に管理。多くの事例にあるように、metaは「ニューロインターフェースデザインの原則」の中で、科学、特に神経科学を知ることは、デザインする上で大きく貢献すると指摘している。

引用元
Neuroscience & AR Design – Vision First: From Features to Action

2016年12月26日追記
ARヘッドセット開発企業Meta社は2016年12月21日、ARヘッドセットMeta 2開発者向けキットが出荷したと同社のTwitterにて報じた。

ARヘッドセットMeta 2開発者向けキット、出荷開始!

AR技術・テクノロジー
,