BMI 研究の代表的な分野の一つに、「人工網膜」と呼ばれるものがある。
人工網膜とは、目に直接電気刺激を与えることで、視力を失った人でも再び物を見ることができるようになる技術だ。
画像: 人工網膜 イメージ
今回は、学部 1 年生からボストン大学に留学した後、現在はスタンフォード大学の博士課程に進学し、今後は人工網膜の研究をされていく中村勇人さんに、自身のこれまでの経歴と、人工網膜の持つ課題、さらには BMI 研究の今後の方向性などについて伺った。
アメリカ留学のきっかけは、中学生の頃に抱いた BMI への興味
中村さんが初めて BMI という言葉と出会い、興味を抱いたのは、中学生の頃だという。
中学生のころにMIT Review か何かで人工網膜の特集がされていたんですね。 その研究内容は今と比べると初歩的なんですけど、網膜の後ろ側にある光受容体達が死んでしまって目が見えなくなった人たちの視力を回復させるというものです。 本来なら光受容体からその手前にある RGC(Retinal Ganglion Cell, 網膜神経節細胞)に信号が送られてくるところを、 RGC を直接刺激することで視覚信号を脳に送ってあげるっていう研究でした。 その時の研究では、患者さんは 4×4 くらいの解像度でしか入力画像を認識できないんですけど、攻殻機動隊みたいで面白いなと思ったのが最初のきっかけですね。
脳を直接刺激することで視覚体験を得られるという人工網膜のアイデアは、確かにとても魅力的だ。
こうした BMI 研究が、日本と比べてアメリカの方が遥かに進んでいたということに加えて、中村さんには日本の文化への違和感もあった。
一般的な日本の風潮だと、研究や勉強が好きな人に対する風当たりがあんまり良くないなという感じがしていたんです。 もっと自由に、自分のやりたいことをやりたいなっていうのでアメリカに行ったっていうのもありますね。
これらの理由から、アメリカに行くことを決意した中村さんは、英語力の向上や現地の生活に慣れるためにも、学部生のうちから留学に行くことを考え、ボストン大学に入学した。
学部時代はコンピュータビジョンや EEG を用いた研究に没頭
大学に入学してからの中村さんは、コンピュータで人間に近い視覚システムを獲得する方法を追求するため、学部一、二年生の頃からコンピュータビジョン、特に物体検知関連の研究をVIP ラボにて行った。
やっていた研究は、人物検出が主なタスクです。 普通の物体検出や人物検出では、入力される画像が、物体と地面が垂直になっているものがほとんどで、回転というものがほとんどないと思います。 僕の研究では、使ったカメラが天井マウント型の全方位カメラで、レンズディストーションがあるんですね。どういったレンズディストーションになるかというと、 例えばそのカメラの真下に人が立っていると、その人の頭がものすごく大きく拡大されて写ってしまったり、立つ位置によっては足が上側向いて頭が下側向くとか、 そういった問題が発生してしまって、普通のコンピュータビジョンのアルゴリズムが適応できないんです。 なので新しいアルゴリズムを開発する必要があって、RAPiD というアーキテクチャーを開発したんですけど、論文がでた当初はパノラマイメージのカメラのデータセットの中でSOTAをとりました。
画像: 全方位カメラを用いた人物検出
このプロジェクトの大きな目的は、建物などに搭載されている、HVAC(Heat Ventilation Air Conditioning)システムと呼ばれる空調システムの効率改善だった。中村さんらのこの人物検出のアルゴリズムを搭載することで、人の数やアクティビティに応じた換気や冷暖房の調整を行い、消費電力を削減することが期待される。
中村さんが共著者として名を連ねるこの研究論文は、CVPRと呼ばれるコンピュータビジョンでのトップカンファレンスでも採択されるほど、とても優れた成果をあげていた。しかしながら物体検知の研究を進めるうち、人間の視覚システムの凄さをより一層実感したという。
実際に研究して分かったのは、人間の視覚システムっていうのは本当にすごいっていうことでした。 この研究深層学習を用いた物体検出の研究で、もちろん SOTA は達成したんですけど、人間と比べるとまだ全然ダメでしたね。 まずアーキテクチャ自体がデータハングリーだし、ものすごく異常に弱いので、人間の性能には程遠いなっていうのを感じました。 なので、そこからまた人間の視覚システムの研究をしたいなっていうのになった感じですね。
こうした思いから、学部三年生時にはReinhart ラボというボストン大学内の別のラボにて、EEG を用いた人間の視覚に関する研究も行なった。
やっていたのは、人間の後頭頭頂葉から電気信号を EEG 形式でとって、それをデコードする研究です。 実験のセットアップとしてはまず、被験者に対して、モニターで白と黒の円のストライプ模様を二つ、時間を置いて見せるんですね。 この時それぞれの円は、少し回転していて、被験者のタスクとしては、二個目の円が最初の円に対してどの程度、どっち向きに回転していたかを答えるっていうものです。 そのタスクをやっている最中の被験者さんの脳の EEG データから、その被験者さんのビジュアルワーキングメモリに保存されている物体の回転情報をデコードするっていう研究だったんですよね。
実はこの研究は、中村さんが学部一、二年生の時に行っていた物体検知の研究と似ている部分もあるという。
深層学習で自分がやった特殊なことって、回転を損失関数に入れたのが結構新しかったんですね。 それとも繋がっていて、どうやって人間が回転の角度情報を保存しているのかというのにも興味があったので、この研究をしました。 それで実際その研究から分かったのは、結構 EEG でも、回転角の情報をデコードできるっていうのが分かって、面白かったですね。 そこから繋がっていって、ニューロサイエンスにも入っていった感じですね。
現在はスタンフォード大学の博士課程に進学、今後は人工網膜を研究
中村さんは 2021 年の 9 月からスタンフォード大学の博士課程に進学し、今後は BMI、特に人工網膜関連の研究を行なっていく予定だという。この道を選んだ理由について、中村さんは次のように語ってくださった。
個人的な理由をまずいうと、やっぱりスタンフォードが憧れだったっていうのがありました。 アメリカの大学のオンライン授業で確か最初に見たのがスタンフォードだったんですね。学部で行きたくて一回こっちでキャンパスツアーとかもやって、憧れてたんですけど、学部では行けずボストンに行きました。それで長年の思いを果たしにまた院で出願したという形ですね。
実際もっと大きな理由としては、研究室の方で興味があるのが人間の視覚システムなんですけど、視覚システムかつ BMI の複合分野っていうと、人工網膜とかの研究が一番そこに近いなっていうのを思ったからですね。 人工網膜っていうのは BMI の最たるものだと思うので、その人工網膜をやってる研究室に入りたいっていうのは学部の頃から考えていて、その時いろいろ調べて、一番自分にあってるなって思ったラボがスタンフォードにあったので、スタンフォードを選んだっていう感じですね。 あと、スタンフォードは BMI 関連の研究室がいろいろあるので、そこに入らなくて他の研究室に入っても面白そうなことができたからスタンフォードにきた、っていうのはありますね。
人工網膜といえば、中学生の頃の中村さんが BMI に興味を持つことになったきっかけでもある。長年の時を経て、中村さんにとってのいわば原点とも言える研究テーマに、今後は取り組んでいくという。
人工網膜の課題及び今後の研究内容
では、現在の人工網膜には、どのような課題があるのだろうか。まず一つはその解像度の低さにあるという。
今のマーケットに出てる人工網膜の機械って、解像度が物凄く低いんですね。どれくらいかっていうと、8×8 くらいですね。 だからイメージとしては、拳を見て、近くに 8×8 のパッチが浮かんでいて、あとは全部真っ暗っていう感じです。しかもその電極が周辺部網膜に貼ってあるので、そのパッチが視界の中央にないんですよ。 だから普通の視覚体験からかけ離れているというか、ないよりはマシなのかもしれないけど、実用に耐えうるようなものではないですね。 文字も本当に輪郭だけで、大きい文字とか一文字だけとかだったら読めるかもしれないんですけど、でもそんなのは全然実用的じゃないですよね。
これを解決する方法として電極の数を増やすという方法もあるが、これだけでは完全に自然な視覚の獲得は難しい。というのも、RGC は平面上に並んでいるだけでなく、立体にも入り組んでいるため、単純に 2 次元的に電極で刺激をしてもその軸上の他のニューロンまで全て刺激してしまい、思ったようなシグナルを送れないからだ。
画像: RGC イメージ
これを解決するためには、それぞれの RGC の役割を解明しないといけない。およそ 20 種類ある RGC の特性を調べ上げるのは容易なことではないが、中村さんが現在入ることを検討しているラボでは、マカクザルを用いた実験で既に 4 種類のセルについて特性が調べ上げられているそうだ。
今後はその他のセルについても特性を調べ、さらにそれらをうまく刺激できるような電極を開発することが期待される。
ただし、ここまでやってようやく送り込めるのが、白黒の画像だ。ここから3 色チャネルのある画像を送り込むには、更なる研究が必要となる。
次のステップとしては、 3 色チャネルのあるイメージを送るようにするにはどうしたらいいかっていうので、これもすごく難しいです。 これはそもそも色の情報がどういうふうにスパイク列にエンコードされているのか、それぞれの RGC が何に対応しているのかっていうのが分かっていないので、そこもまず解明しないと、ちゃんとした色彩を届けるっていうこともできなくて、それも大きな課題ですかね。 スパイク列からグレースケールの画像を再構築するアルゴリズムはもう出てるんですけど、色情報はまだ再構築できていないんですね。 だから次論文がうちのラボから出るとしたら、色情報も構築した画像の再構築アルゴリズムみたいなものじゃないかなと思いますね。
またこれらの課題の解決を助ける研究として、中村さんはコンピュータビジョンと人工網膜を組み合わせた、スマート人工網膜と呼ばれるテーマの研究も考えている。
自分がやろうとしている研究の一つに、コンピュータビジョンと人工網膜を組み合わせた、スマート人工網膜みたいなものを作ろうっていうのがあります。 内容としては 8×8 ピクセルで表示できる情報って物凄く少ないので、その 8×8 をフルに活用して、患者さんに有意義なデータを送るにはどうしたらいいかっていう研究です。例えば人が話している時に一番関係のある情報っていうのは表情ですよね。 そういうのを自動検出して、それだけを表示させるとか、そういった周囲環境を識別して状況を分類した上で、提示する情報を最適化してくれる人工網膜みたいなのを作るっていう研究もしてますね。 それもさっき言った課題を解決する上での一つの手段ですかね。
こうした研究は AR などにも応用が可能で、BMI に限らず大きなインパクトを与えることが期待される。
BMI 研究の今後と大学院卒業後の進路
現在はアカデミアで BMI 研究を行う中村さんだが、今後の BMI の発展において、企業の果たす役割も大きいだろうという。
みんなそれぞれ色んな考えあると思うんですけど、自分はやっぱりスタートアップとか、企業系から今後はどんどん発展していくんじゃないのかなっていうのは思っています。 本当にイーロン・マスクのニューラリンクをはじめとしたニューロ系のスタートアップっていうのは、ニューロサイエンス自体の研究の仕方もそうですけど、物凄く今後の BMI の研究を変えていくんじゃないかなと思っています。 元々 BMI っていうのは、アカデミアかつクリニカルなアプリケーションでしかやっていなかった研究だと思うんですけど、今後もし企業が参入することになったら、みんな興味があるのはクリニカル以外のアプリケーションで、そういったものがないとやっぱり分野って盛り上がらないじゃないですか。 そういう意味でも、今後はアカデミアよりはインダストリーからどんどん発展していくんじゃないかなっていうのは思っています。
また BMI の発展の方向性として、非侵襲で出来ることは限られており、今後は侵襲を非侵襲に近づける方向で研究が進むのではないかと語る。
侵襲か非侵襲かの議論で行くと、個人的には侵襲じゃないとダメなんじゃないかなっていうのは思っていますね。 非侵襲でできることって言うと本当に限られていますし、もちろん非侵襲でできることは非侵襲で済ませた方がいいと思うんですけど、でも多分ほとんどの人がやりたいことって、非侵襲じゃできないことだと思うんですよね。 なので BMI の今後の進化の仕方っていうと、侵襲を非侵襲くらいの負担に近づけるような素材とかの研究っていうのは一つの方針なんじゃないかなっていうのは思いますね。
どこからを侵襲っていうのか、頭蓋骨をあけたら侵襲なのか、それとも例えば血管内にナノロボットを送り込んでナノロボットが体内で活動を計測するのは、果たして侵襲なのか非侵襲なのかっていうのもよくわからないですけど、でも最低でも EEG でどうにかするのは難しいんじゃないかなっていうのは、個人的に思いますね。 EEG じゃないとしたら超音波でのモジュレーションとかイメージングが多分 EEG よりかはもっと実用性があると思うし、あとはオプトジェネティックスとかの方が、非侵襲だとしたら可能性はあるんじゃないかなっていうのは思いますね。
侵襲も侵襲で大変だと思いますけど、でも人工網膜とかそういうトライアルに参加している患者さんが多いのを考えるに、相当人生の質を変えるものだったら、全然躊躇いなくやってくれるんじゃないかなって思います。
最後に、中村さん自身のキャリアについても次のようにお答えいただいた。
どこか BMI 系の会社の研究部門に入って研究をしたいかなっていうのは考えていますね。もちろん今後数年で、BMI はやっぱりまだまだ未熟だからインダストリーが参入するにはまだ早いってなった場合は、もしかしたらアカデミアに残るっていう選択をとるかもしれないですけど、今のままこのインダストリーの勢いが加速していくのであれば、卒業後は企業に就職して研究するのもありかなっていうのは思ってますね。 もちろん起業っていうのもありですけど、まあそれはおいおい、色々経験してから考えようかなって思ってます。
さいごに
今回は、ボストン大学で物体検知や EEG を用いた人間の視覚システムの研究を行なったのち、今後はスタンフォード大学で人工網膜の研究を行う予定の中村勇人さんにお話を伺った。
中村さんの研究などの根底にあるものとして、幼稚園生の頃からお兄さんの影響でハマっていた、MMO(大規模に多人数が同時参加するオンラインコンテンツ、特にゲーム)の影響が少なからずあるらしい。
人間の視覚システムの仕組みが解き明かされれば、いつかはフルダイブインが可能になる世界もやってくるのかもしれない。
