情報と関係

0. このノートの位置づけ

このページは、数学的直観を回復するための接続ノートである。主題は、情報を単なるデータとしてではなく、関係の場から切り出された局所的な安定として見ることにある。

情報は、何かが区別されることである。Aである、AではなくBである、0ではなく1である、こちらではなくあちらである。状態が絞られ、不確定だったものが少し確定する。

一方で、関係は、区別されたもの同士がどう結びついているかである。AはBに似ている、AはBより大きい、Aが動くとBも動く、AとBは同じ方向を向いている。これは単体の情報ではなく、配置・依存・距離・向きの話である。

情報は「何であるか」。関係は「何とどう結びついているか」。

多くの場合、関係があるから情報が生まれる。「東京」という語だけでは、まだ情報量は限られている。しかし、東京—首都、東京—日本、東京—都市、東京—夜、東京—孤独、のように関係が増えると、語の場が変わる。

単語そのものが持つ情報というより、関係の網の中で、どの意味が立ち上がるかが変わる。

LLMを「文章を覚えている倉庫」と考えるとズレる。より近いのは、膨大な言語使用の中で、何と何がどのくらい結びつきやすいかを重みとして沈殿させたものである。

情報が大量に浮かんでいるというより、情報が立ち上がるための関係の偏りが、無数に折り畳まれている。

LLMの内部状態は、人間が読む文章ではない。そこには「これは悲しい」「これは情緒である」と書かれているわけではない。だから一見すると、それは意味の手前に見える。

しかし実際には、その場は大量の文章、大量の意味、大量の人間の言語行為を通過した結果として作られている。意味以前に見えるが、実は意味を大量に通過した後の圧縮物でもある。

数学的には、最初にベクトルと線形変換に戻るのがよい。ベクトルは単体の数ではなく、空間内の位置や方向を表す。そして線形変換は、その空間全体の関係を変える。

点Aと点Bの座標だけを見れば、それは情報である。しかし、AとBの距離、AからBへの向き、空間全体を回転したときに何が保たれるかは関係である。

深い理解とは、情報を見ることではなく、情報を成立させる関係と、その中で何が保たれ、何が変わるかを見ることである。