ライトフィールド技術

ライトフィールドとは何か？

ライトフィールド技術は、一度のカメラ露光で 3 次元空間像を撮像する技術だ。従来のイメージング技法は、そのほとんどが 2 次元画像を構築するものであり、3 次元空間像を得るためには異なる深度に焦点を合わせて撮影した画像を積み重ねる必要がある。これに対し、ライトフィール技術は、マイクロレンズアレイという撮像素子を用いることで、従来のイメージング技法とは全く異なる撮像を実現する。そして、このライトフィールド技術を顕微鏡に適用したものが、ライトフィールド顕微鏡だ。

 

従来のイメージング技法の限界

従来のイメージング技法では、撮像にあたって、焦点の深度を定める必要がある。しかし、この方法で 3 次元空間像を得るには、焦点を合わせる位置を少しずつ変えながら撮像を繰り返す「スキャン」を行い、その後に個々の画像を統合する必要があるため、一度の撮像に時間がかかってしまう。例えば、神経系の計測手法として現在主流である 2 光子顕微鏡では、数 mm × 数 mm × 数 mm の領域を撮像するために、数秒〜数十秒を要する。そのため、従来の撮像技法では、3 次元の広がりを持ち、高速に移り変わる現象を捉えることが難しい。また、一つの撮像対象領域の中でも場所によって撮影のタイミングが異なり、領域内の時間情報が失われてしまう、という問題がある。

 

 

3 次元像を得るために 2 次元画像を積み重ねる様子の概念図 (ChatGPT で生成)

 

ライトフィールド技術の利点と仕組み

 

対象領域を広くとると、その全体の撮像にかかる時間は長くなり、撮像時間を短くするためには、対象領域を狭くする必要がある。このトレードオフを解決し、空間を張る 3 つの次元と時間軸を合わせた 4 次元の現象を、高い分解能でイメージングするにはどうすれば良いだろうか？　ライトフィールド技術は一つの答えだ。

 

ライトフィールド技術を特徴づけるものが、イメージングセンサーの前に置かれたマイクロレンズアレイだ。これは、その名の通り、数千個の微小なレンズが並んだ光学素子で、各マイクロレンズを通過する際に、どのマイクロレンズを通過したかがイメージセンサに記録される。つまり、マイクロレンズと光線の入射角に応じてイメージセンサ上の異なる画素に到達するため、光線の角度情報を記録する働きをする。こうして得た光線情報は、個々の画素が焦点深度についての情報を持ったものになる。したがって、イメージセンサによる記録を行った後、復元アルゴリズムによるコンピューテーションで特定深度に対応する画素の記録情報を選択的に使用することにより、任意の位置に焦点を持つ画像を事後的に構築することができる。

 

ライトフィールド技術の概念図 (杉先生ご提供)

 

着目していただきたい点は、任意の深度に焦点を合わせられる 3 次元像の情報を、一度の撮像で得られるという点だ。これは、例えば、従来のイメージング技法で 100 回の撮影を要していた領域の記録が 1 回の撮像で済み、100 倍の速度、100 倍の時間分解能を達成できることを意味する。それとともに、対象領域内の時間情報が失われてしまう問題も解決されている。

 

このようにして、ライトフィールド技術を用いることにより、3 次元空間像を精緻な時間情報とともに記録すること = 4D イメージングが可能になるのだ。

 

杉先生の研究の新規性：空間解像度の向上と光ファイバーへの応用

従来の計測技術とは全く異なるイメージングを可能にするライトフィールド技術であるが、問題点もあった。それは、空間分解能の低さだ。ライトフィールド技術の復元アルゴリズムとしてこれまでに開発されてきたものは、従来の共焦点顕微鏡と比較し、空間分解能が 10 倍以上劣る問題があった。

 

ブレイクスルー

杉先生の研究・開発は、ライトフィールド技術、そして生物学的計測技術における画期的なブレイクスルーを達成した。それは、ライトフィールド技術の空間分解能の大幅な改善だ。杉先生のチームは既存の復元アルゴリズムのいずれとも異なる新たなアルゴリズムを開発。ライトフィールド技術の持つ 3 次元空間像の一度の撮像による記録という特色を維持しつつ、1 細胞レベルという高い空間分解能を達成し、細胞レベルでの 4D イメージングを実現した。さらにこのアルゴリズムは光学的な計算によるものであり、AI ベースのものではない。そのため、AI ベースのアルゴリズムにおいてしばしば問題になる、学習データに利用された試料にアルゴリズムの適用対象が制限される、ということがない。杉先生のアルゴリズムは、線虫からオルガノイド、マウス脳に至るまで、様々なものの 4D イメージングを可能にするのだ。

 

どのようなことができるようになったのか？

神経細胞集団活動の時空間構造の把握

ライトフィールド技術の空間分解能改善というブレイクスルーによってもたらされた 4D イメージングは、神経系の活動の、詳細な時空間構造の可視化をもたらした。

 

線虫の全神経細胞の活動が滑らかな動画として記録できた様子の動画または画像 (杉先生ご提供)

 

これは、開発したライトフィールド技術を用いて杉先生が行った、線虫の全神経細胞の活動の 4D イメージング記録だ。従来の共焦点顕微鏡による撮影では、少数の神経細胞しか持たない線虫の計測においても、その全神経細胞の活動を捉えようとすると、個々の動画フレームの撮像に時間がかかり、パラパラ漫画のような時間的に飛び飛びな計測しかできない。一方で、開発したライトフィールド顕微鏡を使用すると、個々の神経細胞の活動を捉えつつも、滑らかな動画を得ることができる。これにより、神経細胞の詳細な振る舞いと細胞間の相互作用を鮮明に捉えることができた。

 

ライトフィールド型内視鏡

さらに、杉先生は、光ファイバーの束がマイクロレンズアレイと同等な働きをすることを見出した。密集した光ファイバーの一本一本が、マイクロレンズの一つ一つと同様な光学特性を持ち、入射光の角度情報をもたらすのだ。この発想に基づき、光ファイバーを通して記録した光情報に復元アルゴリズムを適用すると、ファイバーの先にある試料の 3 次元空間像を見事に得ることができた。

 

光ファイバーの束がマイクロレンズアレイと同等な働きをすることの概念図 (杉先生ご提供)

 

光ファイバーとライトフィールドの融合により生まれたこの計測技術は、従来のものとは全く異なる方式の内視鏡だと言える。このライトフィールド型内視鏡と呼べる計測技術により、内視鏡を用いないと到達できない生体内部の組織の、微細な立体情報の取得が可能になるのだ

 

この技術を用いて、杉先生は実際に、マウスを用いて、共焦点型顕微鏡では大脳皮質に阻まれて計測できない視床下部の 4D イメージングを達成した。

 

ライトフィールド型内視鏡をマウス視床下部に使用して得た画像 (杉先生ご提供)

 

様々なイメージング技術がある現在においても電気生理学的な手法に計測が限られる生体脳深部の活動をイメージングし、それも 4D 計測できることは、神経科学研究における新たな挑戦に、様々な可能性を与えるものだ。また、この技術は、将来的に内視鏡手術への応用など、多方面への応用が考えられるものである。

 

相関解析から因果生物学へ

ライトフィールド顕微鏡が実現する 4D イメージングは、神経科学研究、そして生物学研究に新たな視点をもたらす。相互作用する微細な要素間の因果関係の把握を可能にするからだ。

 

従来の生物学研究は、その多くが相関関係の解析に留まってきた。神経科学で例を挙げると、3 つの隣接神経細胞が同時に活動度を高めたことが計測できたとしても、そこに 1 対 2 の接続があるのか、1 対 1 の接続が二つあるのかを判断することはできない。すなわち、個々の神経細胞間にある関係は、相関関係としてしか捉えられない。

 

3 つの神経細胞間の情報の伝播が、4D 解析により初めて因果関係として捉えられるようになる図 (杉先生ご提供)

 

細胞数が 3 つ程度であれば、電気生理学的計測などの時間分解能が高い計測手法により、因果関係を捉えることができるだろう。しかし、扱う細胞が多くなれば、従来の手法のいずれをもってしても、細胞間の真の相互作用を捉えることはできない。それに対し、ライトフィールド顕微鏡を用いれば、その広視野性から多数の神経細胞を対象としつつ、細胞レベルの空間分解能と高い時間分解能の両立により、その神経細胞集団が内包する個々の神経細胞間の活動の順序を捉えることができる。神経細胞間の情報伝達の流れという因果関係を掴むことが可能になるのだ。

 

今までの生物学っていうのは、例えば生化学とかでもそうですけれど、全て相関解析に基づいたものなんです。（中略）けれど、やはり因果関係をみないと、正確なことは分からないと思っていて。なので、因果生物学っていうものを、今我々は標榜していて、そのために 4D の技術は使えるんじゃないかなと思っています。

 

広視野、空間分解能、時間分解能の 3 つ全てが揃って初めて可能になる、個々の要素の因果関係の把握は、神経科学のみならず、生物学全体に研究の革新をもたらすだろう。生物の中で起こっている現象の正確な時空間構造を観察することが可能にする、相関解析から因果生物学へのパラダイムシフト。ライトフィールド顕微鏡による 4D イメージングは、その支点となるはずだ。

 

ライトフィールド技術に至るきっかけ

ライトフィールド技術へのブレークスルーに至ったきっかけには、杉先生が貫いてきた研究へのスタンスが深く関係している。

 

私の研究のポリシーとして、異分野のことを組み合わせることを大事にしています。例えば、神経科学であれば、光学など色々なものを導入する。その組み合わせで、人との差を出していくのが大事だと考えている。その中で、2019 年、ある研究機器の会社の代理店さんから"ライトフィールド技術"を紹介されました。その時は全く知りませんでしたが、3D を一発で撮れるのですごいなと思ったんです。ただ、空間分解能の課題があることを知り、まずはそのネタで AMED のグラントに応募したんです。そしたら採択されちゃって。（笑）

急いでその分野の研究を調べなければと思い、カフェでググったら現在の共同研究者の臼杵先生の論文が出てきて、すぐにメールで連絡しました。臼杵先生に色々教えてもらいながら、研究を始めました。

 

「異分野を掛け合わせ」を大事にしている杉先生は、代理店の方からのライトフィールド技術の紹介から興味を持ち、専門外の領域に足を踏み入れた。また、そこから空間分解能の改善アイデアで AMED のグラントに応募し、「まずは形に」することで結果的に採択を勝ち取った。さらに、それまで面識もなかった臼杵先生に即メールして、共同研究へと繋がっていった。杉先生の「好奇心に従い即動く」姿勢が垣間見えた。こうして短期間に具体的な実験に発展していき、後のブレークスルーへと繋がっていった。

 

4D 神経科学 - ライトフィールド技術の事業化

杉先生のチームは、今回の技術をより普及させていくべく、スタートアップ設立の準備を進めている。技術開発を行った「マイクロレンズアレイ型」と「ファイバー型」の 2 方式で対象の分野に対して提供を行う予定だ。

 

「マイクロレンズアレイ型」は、ユーザーが持っている顕微鏡とカメラの間のマウントの部分にマイクロレンズアレイを埋め込むだけで、すぐに 4D の撮影ができる代物で、ユーザーは自身が作っている実験系を改めて作る必要なく、そのままの状態で 4D の撮影が可能となる。そのためのマイクロレンズアレイとその処理アルゴリズムの提供を考えている。また、「ファイバー型」は、同様のアルゴリズムを光ファイバーに適用したもので、3D で計測ができる顕微内視鏡を可能にする。このアルゴリズムのライセンスを内視鏡メーカーなどに提供する予定だ。

 

提供を考えている領域は、主に以下の 4 つだ。

 

疾患研究・創薬研究（ライフサイエンス・創薬市場）

まず対象となるのは、ライフサイエンスの基礎研究と創薬研究だ。研究においては、1 光子イメージングを行っている場合、マイクロレンズアレイと処理アルゴリズムを導入することで、4D の撮影が可能だ。創薬領域においては、オルガノイド等の 3D の組織を一発で捉えられることができ、ハイスループットに高精度な評価が可能になる。これは開発スピードを飛躍的に高める。これまでの数十分の一の工程で、同様のタスクを済ませられる可能性がある。

 

顕微内視鏡イメージング（医療市場）

前述の内容ではあるが、「ファイバー型」の技術で、顕微内視鏡のイメージングを 4D にすることができる。がんの浸潤の定量を 4D で行ったり、立体情報を得たりなどに活用が可能だ。

 

細菌叢の解析検査（ヘルスケア市場）

口腔・腸内細菌叢の研究でも、同技術は高い親和性を示す。例えば、歯磨き粉などの薬剤が口腔内の細菌に善玉を殺さずに悪玉だけをどういう時系列で殺しているのかを評価できる。また、腸内細菌についても同様のことが解析可能だ。

 

3D 病理学（医療市場）

最後は、病理検査の領域での活用だ。現在、病理医さんは徐々に減っているにも関わらず、病理検査には非常に時間がかかる。切片を切って 1 枚 1 枚検査しないといけないが、切片を切らずに 3D での撮影が可能になれば、その時間を短縮することが可能だ。

 

ライトフィールド技術の事業構想（杉先生ご提供）

 

ライトフィールド技術で「意識」―究極の非自明感に挑む

痛みの研究から「意識」の謎へ

事業構想とともに、杉先生がライトフィールド技術を活用して次に挑む研究領域は、「痛み」だ。「痛み」の研究を通して、「意識」の謎に迫りたいと考えている。

 

「痛み」は視覚や聴覚、嗅覚などと比べて研究が遅れ気味であり、また主観的体験であるため意識と深く結び付くものでもある。痛み刺激はわずか数十ミリ秒という時間スケールで非常にはやく伝搬し、瞬時に「痛い」と自覚されるという謎も、杉先生の好奇心を刺激する。

 

痛みは主観的な情報です。これが脳内でどう表現され、どれほどの情報量として処理されているのかを定量化することで、意識の謎に迫れるのではないかと考えています。

 

ライトフィールド 4D 技術は、細胞単位で広視野をとらえながらミリ秒スケールの時間分解能を維持できる。つまり 「どのニューロンが、どの順序で、どこへ情報を渡したか」 をその場で追跡できるため、痛覚ネットワークに潜む因果的な接続を直接マッピングできる。従来の相関解析では見えなかった"情報の矢印"が浮かび上がれば、痛みの研究は加速し、定量化は現実味を帯びる。

 

"非自明感"が導いた「脳」「意識」への好奇心

杉先生の「脳」「意識」に対する興味は、その対象の"非自明感"にある。

 

私は研究において"非自明感"を感じるものごとを大事にしています。脳って分かってないことが圧倒的に多いですよね。昆虫とか見てて特に思います。例えば、シロアリなども脳を持って、すごい社会性を持っています。でもあんな小さい生き物が、すごい社会性を持って営んでいると、そこってすごくやっぱり興味深い。そこには"非自明感"があります。要は、論理的にはなかなか説明できないけれどすごい。

その一番究極の問いは意識だと思っています。意識の問題に、「痛み」の研究を通じて迫りたいと考えています。

 

究極の非自明感 ー「意識」の謎に、杉先生は異分野を組み合わせながら、突き進んでいく。

 

おわりに

今回は広島大学の杉拓磨先生にお話を伺った。

脳は、3 次元空間に広がるミクロな構造を持ち、さらに時間的な自由度までも情報の表現に利用している。そのため、脳活動の計測を行う際には、いくつもの要素間のトレードオフに悩まされるものだ。空間分解能、時間分解能、計測範囲の広さ、他技術との組み合わせなど、どれかを立てればどれかが立たなくなる中で、捉えたい現象に合わせ計測手法を選択しなければならない。今回杉先生が開発された技術は、3 次元空間における空間分解能と時間分解能を両立させ、そのトレードオフを打ち破る、まさにブレイクスルーといえるものだ。この技術はこれから、神経科学、ひいては生物学の実験パラダイムに変化を引き起こすに違いない。

 

ライトフィールド顕微鏡のこれからと、それをスタートアップ設立や意識の謎の解明に繋げ新たな地平を切り開かれようとしている杉先生の今後のご活躍から、目が離せない。