3. Neuralinkのまとめ

2019年07月25日

By tadasu

この記事は神経工学や電気生理学、脳科学の専門家が書いたものではありません。内容に間違えがあった場合、Twitterかメッセージフォームにご連絡いただけると助かります。

論文

An integrated brain-machine interface platform with thousands of channels (Musk and Neuralink, bioRxiv, 2019)

今回のNeuralinkの発表とともに公開。メイン論文。科学研究論文というよりは企業が公開するホワイトペーパーという形態である。

The “sewing machine” for minimally invasive neural recording (Hanson et al. bioRxiv 2019)

2019年の3月にUCSFから発表されていた論文。ラストオーサーのPhilip Sabesは現在NeuralinkのSenior Scientist。今回の発表の根幹を担う技術についてかなり詳しく述べられている。発表時にNeuralinkとの関係は示されていない。

YouTube

Neuralink Launch Event

Elon Mask-> Max Hodak-> Matt Mcdougall -> Vanessa Tolosa-> DJ Seo -> Philip Sabes -> 質疑応答

Podcast (ep19)

19. Neuron Musk

Neuralinkとその周辺技術について我々が話したポッドキャスト

Neuralinkとは

Neuralink: 2016年7月に創業、最初の大きな報道は2017年4月、Elon MuskがOwner

Neuralinkの最終的な目標、到達点、ゴール

人間とAIを融合させる。

現時点での目標

長期間、生体適合性がある侵襲性デバイスの開発
広範囲な脳の領域において、同時に数十万の神経細胞ニューロンの活動を読み書きできる。

今回達成したこと

“侵襲性”BMIを達成するために必要なNeuralinkの基幹技術の開発
- (1. Threads, 2. Robots, 3. Electronics, 4. Algorithm)
Ratにおける実験(読み出しのみ)
質疑応答によると猿でも実験はすすんでいるらしい (コンピューター(カーソル?)をBMIを通して動かすことができるサル)

どうやって脳と機械、コンピューターをつなげるのか

BMI(Brain Machine interface:ブレイン・マシン・インタフェース)とは

脳内における情報の伝達と処理は神経細胞（ニューロン）の働きによる。
ニューロンは電気信号を使って情報伝達する。
脳内に電気信号を読み出したり、電気信号を送り込む、書き込むことによって、脳とコンピュータ、機械とのインタフェースをとなる機器の総称がBMIである。
BMIは臨床疾患の広い範囲の人々を助けるポテンシャルがある。
コンピューターカーソルの神経補綴(ほてつ)制御やロボットの手足、音声合成装置をデモンストレートしてきた。
BMIは頭蓋骨の開頭を伴う侵襲式と伴わない非侵襲式に大別される。
他にもBrain Computer Interface(BCI)、Direct Neural Interface、Mind Machine Interface(MMI)などとも呼ばれる。

非侵襲式BMIとは(読み出し)

EEG(electroencephalogram) … 頭皮上に伝わる脳波を゙計測することが可能。数百万のニューロンの情報を頭蓋骨を通して記録することができる。
fMRI … 血流量の増減を指標として脳の広い領域の活動パターンを視覚化する。
NIRS … 近赤外光の透過性を使って、血中ヘモグロビン濃度から脳の局所活動を安全に、かつコンパクトな装置で測定することが可能。

非侵襲式BMIの利点と欠点

利点: 非侵襲式では脳を損傷する(および感染症、免疫応答の)リスクが少ない。そして人での研究が比較的容易である。
欠点: EEGに関しては頭蓋骨などの影響で脳波が歪んでしまうため、侵襲式と比較して空間分解能が劣るなどの問題点がある。そして大量のニューロンのシグナルを平均化した情報しか見れない。

侵襲式BMIとは(読み出し)

ECoG (electrocorticography) … 脳表面に電極を貼り付ける皮質脳波の計測
細胞外記録 … 脳や脊髄の組織内細胞の隙間に電極を差し込むことで配置することで、神経細胞の近傍に生じる微弱な電気的変化を増幅することで記録する方法。脳や脊髄のような組織に対してだけではなく、培養細胞や、単離したニューロンに対しても用いられる。対象の細胞数によって、シングルユニットレコーディングやマルチユニットレーコディングと呼ばれる。
利点: 侵襲式は正確性と特異性の高い読み取りが可能
欠点: 手術による感染症・脳組織の損傷、免疫応答といったリスク、電極の経年劣化といった問題点がある。

BMIによる脳への情報の”書き込み”

DBS（Deep Brain Stimulation：深部脳刺激) … 侵襲性
TMS（Transcranial magnetic stimulation：経頭蓋磁気刺激法) … 非侵襲性、渦電流によって脳の誘導刺激を行う。

科学的命題

BMIによる脳のdecoding研究は大量の数のニューロンからの情報を記録/書き込みできないことによって制限されてきた。

解決するべき課題

大量で広範囲に渡るニューロンの情報を正確に読み書きできる。
長期間使えて、免疫応答を起こさない。
感染症や脳損傷のリスクがひくい安全な手術方法
できるだけ小さく、超低エネルギーで稼働
リアルタイム、かつon-chipで超高速計算できるアルゴリズムとチップの開発

この問題を1. Threads, 2. Robots, 3. Electornics, 4. Algorithmの観点から解決する。

1. Treads (薄層電極ポリマープローブの開発)

これまで

活動電位を記録するために最重要なテクノロジーであるが、大きいスケールで記録可能な微小電極の技術はこれまでに無い。
多くの長期神経記録のデバイスには硬質な金属や半導体技術によって作られた微小電極アレイが使われてきた。
硬質な金属は脳にささるが、脳組織の間でミスマッチが免疫応答を駆動させ、これらのデバイスの機能と寿命を制限している。
アレイの固定形状(例えばユタアレイ)は、血管のせいで、アクセスすることができるニューロンの数を制限する。

要求

小さくて、細くて、柔らかい
高い生体適合性で免疫応答を起こさない
腐食を起こさないための (airtight packaging)密閉性
読み出すだけではなく刺激することも可能　(highly functioning BMI)
製造プロセスがscalableである
長い寿命

アイデア

代替案は柔らかい、複数の電極ポリマープローブを用いることである (要は剣山を作るんじゃなくて一本一本埋め込む)。
電極ポリマープローブは金属と比べて生体適合性が高い。
このアプローチの欠点は、薄いポリマープローブは直接脳に挿入できるほど硬くはないため、なんらかの方法で挿入を促進する必要がある。そして一本一本植えるので剣山型と比べて遅い。
一本のポリマープローブに、レイヤーを追加してたくさんの電極をつけることで太くすることなく電極の数を増やした。(linear edge, tree edge)

threadsの作り方と性能

threadsは半導体チップと同様の方法で作られる。
- depositing material, patterning materials, フォトリソグラフィ->エッチングのパターンでつくる(らしい)。
ポリイミドによって金属をカプセル化することで絶縁する。

threadsの性能

5µmの厚みで44µmの太さ(髪の毛の太さが大体100µm)
一般的なthreadの長さは約20mm。
1本のthreadsには32電極
電極の一つの大きさは14 x 24 mm^2
- ニューロンの大きさは数µm-数十µmが一般的なので一つの電極に触れるのは1個-数個程度のニューロン
それぞれのthreadは手術時にロボットが針を通すための、16 x 50 µm^2のループを端にもつ。(が埋め込まれるのはループ側)。
YouTubeの最新のバージョンは128ch, 30µmというthreadについても紹介されていた。

アレイ

threadsがたくさん並べられてアレイが作られる。今回は96 threadsで1アレイが形成される。
これらのアレイは”thread”エリアと”sensor”エリアによって形成されている。
- threadエリア: 電極がある部分。96のthreadsからなる。
- sensorエリア: シグナルの増幅と取得を行うことができるカスタムチップをもつ薄膜のインターフェースがある部分。後述するN1チップがある部分。
ウエハーの微細加工プロセスによってhigh throughputなこれらのデバイスの製造が可能である。
10個のアレイがウェハー上に作られる。それぞれのアレイは3072の電極 (96 threads (x 32電極/thread))ので10アレイで30000個程度の電極となる。すなわち大量生産可能。

論文

論文では、電気の流れを良くするための電極コーティングについて(PEDOT:PSSとIrOx)、インピーダンスを調べている。まだまだ生体適合性の問題も残り、課題あり。

2. Robots (手術用自動脳外科(ミシン)ロボットの開発) + 手術の方法

これまで

脳組織を破壊する。
脳が呼吸や心臓の鼓動で動く。脳表面上の血管の問題。
大きく、頭の側頭部を切り込んでいく。感染症を抑えたい。髪を剃ったり大きな傷跡を残したくない。

要求

柔らかく、小さく薄いthreadを脳に挿入する。
多くのポリマープローブを血管を避けながら脳の様々な領域に挿入する。
素早く、高い精度で挿入する。
LASIK(レーシック)のような技術を将来的に目指す。大きな傷跡無し、麻酔無し、日帰りで行う。
小さい穴を開けて、そこにthreadsとセンサーを差し込んで閉じる。
(将来的に)耳の裏に穴を開けてコイルを埋め込んでセンサーとつなげ、外部デバイスと通信させる。

アイデア

脳にthreadsを高速に、正確に、血管を避けながら、植え込むミシンロボットを作る。
小さい穴を開ける。(今回は発表されていないが、レーザーで頭蓋骨に小さな穴を開ける方法をスタンフォードと共同で開発中とのこと:twitter情報)

ロボットの開発と機能

ミシン型ロボット。先端は針、ピンチャー、カートリッジからなる。threadを高い精度で素早く、かつ血管を避けながら脳に打ち込むことができる。
ロボットの挿入ヘッドは10µmの精度でマウントされ、400 mm x 400 mm x 150 mmの3軸ステージで移動する。
ロボットは自動挿入モードを備え、それは6本のthreads (192 電極 )を1分間に挿入することができる。
もし必要であれば、それぞれのthreadが皮質に挿入される前に、外科医が手動で調整することができる。
針は直径40µmのタングステン-レニウムのワイヤーを電気化学エッチングすることで、直径24µmにして作る。
針の先端は個々のthreadのループを引っ掛けて、そして髄膜と脳を貫通して差し込まれるようにデザインされている。
ピンチャーは50µmのタングステンワイヤーが先端が折れ曲ったもので、軸方向にも回転方向にも駆動する。threadの挿入ガイドとして、針の道を通して挿入されること確保するためにある。
論文には脳の代替品としてのアガロースに挿入する一連のプロセスの写真がある。
挿入ヘッドにはimage stackがある。これは針をthreadのループにガイドし、脳のターゲット部位に挿入し、ライブで脳への挿入の検証を行うためである。
挿入ヘッドは6個の独立したライトモジュールを含んでいる。それぞれは405nm, 525nm, 650nm, および白色光を持っている。405nmの蛍光はthreadに含まれているポリマイドを光らせる。525nmライトによる蛍光は正確な皮質表面の位置を推定する。
ロボットはthreadsの挿入サイトを共通座標のフレームとして頭蓋骨上のランドマーク情報とともに登録する。
正確な解剖学的な脳の構造を決定し、正確なターゲッティングが可能となる。
統合カスタムソフトウェアは挿入サイトの事前選択を行い、threadのもつれと歪みを最小限にするように最適化しながら挿入パスを決めていく。
超音波自動滅菌により針を洗浄する。
針とピンチャーのカートリッジは挿入ヘッドの一部で、脳組織と直にふれるので、手術の途中で1分以内に交換することができる。

論文における検証

19例の手術を行い(Rat)、87.1+12.6%の挿入成功率を示した。
皮質上の微細な血管を避けるために、マニュアル調整を行うことで全体の操作が遅れているにも関わらず、トータルの挿入時間は平均~45minであり、1分間に29.6電極を挿入することができた。
皮質のカバー率を最大化するために、スレッド間は>300µmで、挿入は4 x 7 mm2の両側開頭術で行った。

3. Electronics (N1チップの開発)

これまで

長期、数千の電極からの情報を記録することは電子工学の挑戦である。

要求

ケーブルとコネクタは無し。
- on-chipで処理を行う。
サイズを限界まで小さくする。
消費エネルギーも限界まで小さくする。
熱をできるだけ出さない。
ノイズを下げる。
以下の機能を含む必要がある。
- analog amplifiers (電極からのシグナルの増幅器)
- power management (超低エネルギーで稼働)
- Analog-to-Digital Converter (波形情報から、01のデジタルな信号へ)
- Processing Logic　処理論理回路
- Stimulation (現段階ではまだまだだが書き込み可能にするため)
- Electrode diagnositcs (電極の診断用)

N1チップの開発

一般的に”tape-out”は一年から数年に一度だが、3ヶ月に一度、neuralinkではある。　
- テープアウト（英: Tape-out）は、マイクロプロセッサなどの半導体製造工程における、設計の最終段階の区切りを指す。
24ヶ月で8回のtape-outがあり、15のチップを作った。
N1チップの性能は論文とYouTubeで異なる。YouTubeのものが最新と思われる。
ASICで作られる。

N1チップの構成

Analog pixel (アナログピクセル)
- amplifier->filter->ADC(ananlog/digital converter): 電極からのシグナルの増幅器->フィルター->波形情報から、01のデジタルな信号へ
- 1アナログピクセル/1電極
- 1024 アナログピクセル/N1チップ　(32電極 x 32 threads?)
- 可能な限り小さく、可能な限りlow powerで、可能な限り熱を出さず、長いバッテリーランタイム、可能な限り小さいノイズ
- 三回の改良を繰り返した。アカデミックで発表されている一番小さいものよりも5倍小さい。大体、一片が50µmちょっと。
on-chip spike detection
- 同じ電極から異なるニューロンの動きを同定できる。(これは複数のニューロンが電極にタッチしているからなのか、局所フィールド電位から見えるのか。多数の波形から推定できるのかいまいちわからない…)
- Analogは1秒間に20000サンプルを 10bitの解像度で捉えられる (200Mbits/second for each 1024 Analog pixel)。
- データを200倍以上に圧縮する。
- spike detectionの計算に900ナノ秒かかる。それは脳が何がおこったか認識するより早い!!!
- USBCで外部にリアルタイムでだし、リアルタイムで色々計算できる。 -> (将来的に)N1のコネクターやケーブルを全て排除したい。
Stimulation engine
- ニューロンへの電気刺激を行う。
- 0.2µA amplitude resoltuion
- 7.8µs resolution
- 16個中1個のチャンネルで刺激可能, 64のチャネルの全ての組み合わせが同時に刺激可能

N1チップの性能と機能(YouTube版)

1024 Analog Pixels
7.2µV RMS (ノイズ)
6.6 µW (Analog Pixel一個あたりが必要なエネルギー)
10 bit（Analog Pixelのデータの解像度)
Analog-to-Digital Converter (ADC)
200x compression (データの圧縮)
On-Chip Spike detection
900ns (spike detectionの速度)
stimulation engine (刺激用)
- 0.2µA amplitude (刺激)
- 7.8µs resolution (刺激)
4 x 5mm (サイズ)

N1チップの性能と機能(論文側、詳しくはご確認ください。Table 1,2)

System A … 1536チャネルレコーディングシステム,
System B … 3072チャネルレコーディングシステム
System Aは早くより信頼できる生産を促進するためにデザインされており、システムBよりも5倍以上の早さで、かつよりよい収率で作ることができる。
System Bはたくさんのチャネルで記録/書き込みすることが可能

4. Algorithm (Spike detection)

これまで

多くの電気生理学者は細胞外記録のデータを吸い出した後に、スパイクソートし、偽陽性のスパイクイベントを排除することに勤める。
NeuralinkのBMIはリアルタイムでスパイクを同定し、脳波のdecode効率を最大化しなければならない。

要求

脳波のdecode効率を最大化
on-chipで計算可能
リアルタイムで計算可能

アルゴリズムの実装

詳しいアルゴリズムの実装については述べられていない。
BMIのデコーダーはスパイクソートなしで、最小限のパフォーマンスのロスで普通に動作する。
最近の研究結果では、スパイクソートはニューロンのpopulation dynamicsを測るためには必要ないことが示されている。
- Trautmann et al. Neuron 2019 … Krishna V. ShenoyはNeuralinkの顧問
おそらくthresholdingによってスパイクを同定
Permissive filterを使うことで、∼0.2 Hzまでの偽陽性を許容するが、これは本当のスパイクを落とす可能性がある厳しい閾値を使うよりも良い (Data not shown)。
閾値として>0.35 Hzをつかった。

5. Electrophisiology (電気生理学)

実験データは論文を直接ご覧ください。

6. 将来的なビジョン

2020までの目標

quadriplegia (四肢麻痺) C1-C4の脊髄損傷の患者を対象。
4つの1024チャンネルセンサーを埋め込む。
4個のN1チップを埋め込む。3つは運動皮質で1つは体性感覚皮質
耳の裏にインプラントコイルを埋め込む。N1チップからのケーブルを通す。耳の外側にデバイスをもう一つ装着し、そこから情報のインプットとアウトプットを行う。
この外側のデバイスをlinkと呼び、Bluetoothとバッテリ機能を持つ。