相対論ノート#36：相対論と情報理論の幾何学

あくまで個人的にまとめたノートなので、誤っている箇所があるかもしれません。参考にする際は内容の正当性について注意してください。もし誤っている箇所があればご指摘いただけたら嬉しいです。

これまで、アインシュタインの一般相対性理論の骨子であるリーマン幾何学について駆け足ではあるものの纏めてきました。

時空の歪みを記述する計量テンソルや、曲がった空間での最短経路を示す測地線の概念にも、少しは慣れてきたのではないでしょうか？（筆者もまだ修行中ですが…）

さて、実はこの幾何学の知識が、別の分野である情報理論や人工知能の最先端で、驚くほど重要な役割を担っているそうです。物理学の視点から、この不思議なつながりを一緒に探っていきましょう。

1. イントロダクション：なぜ相対論が情報理論に役立つのか？
2. 相対性理論における幾何学の復習
3. 情報理論における幾何学の導入
1. フィッシャー情報計量
4. 応用例：機械学習と深層学習
5. まとめと展望
1. 参考文献
2. これまでの相対論ノート一覧

1. イントロダクション：なぜ相対論が情報理論に役立つのか？

相対性理論と情報理論。一見、何の関係もないように見えます。しかし、両者には「幾何学」という共通の数学的言語が存在します。

相対性理論が、質量やエネルギーによって歪む「時空多様体」の幾何学を扱うように、情報理論もまた、確率分布の集合が形成する「情報空間」の幾何学を扱うのだそうです。

そして、その核心には、私たちが何度も向き合ってきたリーマン多様体と計量テンソルという強力な道具があると言います。この共通点こそが、相対論を学んだ私たちが情報理論の深い部分を理解するための、最大の武器になるはずです。

2. 相対性理論における幾何学の復習

まずは、馴染みのある分野から振り返ってみましょう。私たちは、空間と時間を一体とした4次元の空間、時空多様体を扱いましたね。そして、この時空上の二点間の距離（線素）を定義するのが、計量テンソル$g_{\mu\nu}$でした。

$$ds^2 = g_{\mu\nu} dx^\mu dx^\nu$$

この式は、時空の曲がり具合をすべて含んでいます。そして、重力がない平坦な時空では直線運動だった自由粒子の軌跡が、重力がある曲がった時空では、測地線と呼ばれる最短経路になるのでした。この測地線の運動方程式、測地線方程式も、計量テンソルとその微分から構成されるクリストッフェル記号を使って、以下のように表せるのを覚えているでしょうか？

$$\frac{d^2 x^\mu}{d\tau^2} + \Gamma^\mu_{\nu\rho} \frac{dx^\nu}{d\tau} \frac{dx^\rho}{d\tau} = 0$$

最後に、物質やエネルギーの分布が時空の曲がりを生み出すという核心的な法則、アインシュタインの場の方程式を思い出しておきましょう。

$$R_{\mu\nu} – \frac{1}{2} R g_{\mu\nu} = \frac{8\pi G}{c^4} T_{\mu\nu}$$

左辺が時空の幾何学を、右辺が物質・エネルギーの分布を記述するテンソルで構成されていますね。この対応関係が、情報理論においても現れるのだそうです。

3. 情報理論における幾何学の導入

ここからが新しい分野です。情報理論では、確率分布の集合を、幾何学的な空間である「統計多様体」として扱うそうです。

例えば、正規分布の集合は、平均値と分散という2つのパラメータによって特徴づけられる、2次元の多様体を形成すると言います。そして、この「情報空間」の幾何学を定義するために、相対論における計量テンソルに相当するものが使われるのだそうです。

フィッシャー情報計量

その計量は、「フィッシャー情報計量」$I_{ij}(\theta)$と呼ばれるものです。これは、確率分布のパラメータ$\theta = (\theta_1, \theta_2, …)$を少し動かしたときに、分布がどれだけ変化するか（「離れるか」）を測るためのもので、以下のように定義されるようです。

$$I_{ij}(\theta) = E_{P(x|\theta)} \left[ \frac{\partial \ln P(x|\theta)}{\partial \theta_i} \frac{\partial \ln P(x|\theta)}{\partial \theta_j} \right]$$

この式の右辺は、確率分布$P(x|\theta)$のパラメータ$\theta$に関する対数微分の期待値です。このフィッシャー情報計量を用いることで、異なる確率分布間の「情報的な距離」を測ることができると言います。そして、この$I_{ij}$が、相対性理論の計量テンソル$g_{\mu\nu}$と数学的に全く同じ役割を果たしているのだそうです。

4. 応用例：機械学習と深層学習

この幾何学は、機械学習の最適化にも応用されるのだそうです。従来の最適化手法である「勾配降下法」は、平坦な空間を仮定して、最も傾きが急な方向に進むというシンプルなものでした。しかし、情報空間は曲がっているため、この単純な方法では非効率になることがあるそうです。

そこで登場するのが、情報空間の幾何学を考慮した最適化手法、「自然勾配法」です。これは、フィッシャー情報計量を使って勾配を修正し、曲がった空間における最も効率的な方向に進む方法だと言います。数式で書くと、以下のようになるそうです。これは、重力がある空間で測地線に沿って進むのと似ている、とのことですが、似ている感じがするでしょうか？

$$\Delta \theta = – \eta I^{-1}(\theta) \nabla \ell(\theta)$$

ここで、$\eta$は学習率、$I^{-1}(\theta)$はフィッシャー情報計量の逆行列、$\nabla \ell(\theta)$は通常の勾配ベクトルだそうです。この式は、相対論で座標変換を行う際に計量テンソルの逆行列が登場するのと似た構造を持っています。

5. まとめと展望

今回は、相対性理論で培った幾何学の知識が、情報理論という全く異なる分野でいかに重要な役割を担っているかを見てきました。相対性理論が「時空の対称性」を基盤とするように、情報理論も「統計モデルの対称性」を幾何学的に捉えることで、新しい知見をもたらすと言います。両分野の融合は、量子情報理論や量子重力など、物理学と情報科学の最先端領域で活発に研究されているそうです。

リーマン幾何学と計量テンソルの知識は、これらの分野を深く理解するための強力なパスポートになるかもしれません。今後、情報理論を勉強する際は、この幾何学的な視点を意識してみるのも良いかもしれませんね。