# ドット積から内積空間へ：線形代数、信号処理、AIの背後にある統一された言語 (From Dot Product to Inner Product Space: The Unified Language Behind Linear Algebra, Signals, and AI)
## 要約 (Abstract)
**内積(Inner Product)** は、線形代数、関数解析学、信号処理、機械学習、量子力学にわたって共有される核心的な代数構造である。本論文は「内積」を唯一のテーマとし、有限次元ユークリッド空間におけるドット積(Dot Product)から出発し、内積空間の公理、直交分解(Orthogonal Decomposition)、最小二乗射影(Least-Squares Projection)、ヒルベルト空間(Hilbert Space)、フーリエ級数と変換(Fourier Series and Transform)、畳み込み(Convolution)、離散コサイン変換(Discrete Cosine Transform)、ウェーブレット解析(Wavelet Analysis)、自己注意メカニズム(Self-Attention Mechanism)、カーネル法(Kernel Method)、そして量子力学における状態ベクトル射影(State-Vector Projection)を順に紹介する。一見異なる学問分野に属するように見えるこれらの概念が、数学的構造において統一性を持つことを明らかにする：**内積の定義 → 直交基底の確立 → 射影分解 → 情報抽出**。本論文は読者に数学、工学、物理学を貫く認知地図(Cognitive Map)を提供することを目的とする。
## 序文：万物は射影である (Preface: Everything Is a Projection)
数学と工学科学には繰り返し現れるパターンがある：複雑なオブジェクトを複数の「基本成分」の線形結合に分解すること、そして分解の道具がまさに**射影(Projection)** であるということだ。射影演算の本質は内積(Inner Product)である—「類似性(Similarity)」を測定する二項演算。フーリエ解析で信号を異なる周波数の正弦波に分解することから、最小二乗法でデータに最もよく適合する直線を見つけること、量子力学で重ね合わせ状態にある粒子を測定することまで、これらすべてのプロセスは同一の数学言語を共有している：**内積の定義 → 直交基底の確立 → 射影 → 直交分解 → 情報抽出**。
本論文の目標は、この統一されたフレームワークを体系的に説明することである。最も身近なベクトルのドット積(Dot Product)から出発し、徐々に内積空間(Inner Product Space)とヒルベルト空間(Hilbert Space)へと抽象化し、この構造が微積分学、信号処理、人工知能、量子力学においてどのように繰り返し現れるかを示す。読者に関数解析学(Functional Analysis)の背景知識は必要なく、基本的な線形代数と微積分学の知識があれば十分である。
---
## 第1章 内積の本体 — 類似性を測定する基本演算 (Chapter 1 The Ontology of Inner Products — The Fundamental Operation for Measuring Similarity)
### 1.1 理論と厳密な定義 (Theory and Rigorous Definitions)
内積(Inner Product)の概念はユークリッド幾何学のドット積(Dot Product)に起源を持つが、その数学的意味は関数解析学(Functional Analysis)において大きく拡張された。本節は有限次元の場合から出発し、徐々に内積の厳密な定義を構築する。
```ad-definition
title: 定義 1.1 ドット積 (Definition 1.1 Dot Product)
$\mathbb{R}^n$を$n$次元実ユークリッド空間とする。任意の二つのベクトル $\mathbf{a} = (a_1, a_2, \dots, a_n)$ と $\mathbf{b} = (b_1, b_2, \dots, b_n)$ について、そのドット積は対応する成分の積の和として定義される$^{[1]}$:
$$
\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i.
\tag{1.1}
$$
ドット積は二つのベクトルを一つのスカラーに写像する二項演算である。その幾何学的解釈はコサイン法則(Cosine Law)によって与えられる:
$$
\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta,
\tag{1.2}
$$
ここで $\|\mathbf{a}\| = \sqrt{\langle \mathbf{a}, \mathbf{a} \rangle}$ はベクトルのユークリッドノルム($L_2$ ノルム)であり、$\theta$ は二つのベクトル間の角度である。
```
```ad-definition
title: 定義 1.2 内積空間 (Definition 1.2 Inner Product Space)
$V$ を体 $\mathbb{F}$($\mathbb{R}$ または $\mathbb{C}$) 上のベクトル空間とする。写像 $\langle \cdot, \cdot \rangle: V \times V \to \mathbb{F}$ が次の三つの公理を満たすとき、内積(Inner Product)という$^{[8][9]}$:
1. **共役対称性(Conjugate Symmetry)**: $\langle \mathbf{u}, \mathbf{v} \rangle = \overline{\langle \mathbf{v}, \mathbf{u} \rangle}$、ここで上線は複素共役を表す。実ベクトル空間では対称性 $\langle \mathbf{u}, \mathbf{v} \rangle = \langle \mathbf{v}, \mathbf{u} \rangle$ に縮減される。
2. **第一変数に関する線形性(Linearity in the First Argument)**: $\langle \alpha\mathbf{u} + \beta\mathbf{v}, \mathbf{w} \rangle = \alpha\langle \mathbf{u}, \mathbf{w} \rangle + \beta\langle \mathbf{v}, \mathbf{w} \rangle$、任意の $\alpha, \beta \in \mathbb{F}$ について成立。
3. **正定値性(Positive Definiteness)**: $\langle \mathbf{v}, \mathbf{v} \rangle \geq 0$、かつ $\langle \mathbf{v}, \mathbf{v} \rangle = 0$ となるのは $\mathbf{v} = \mathbf{0}$ の場合のみ。
内積からノルム $\|\mathbf{v}\| = \sqrt{\langle \mathbf{v}, \mathbf{v} \rangle}$ が導かれ、そこから距離 $d(\mathbf{u}, \mathbf{v}) = \|\mathbf{u} - \mathbf{v}\|$ が導かれる。したがって内積空間は自然にノルム空間(Normed Space)となり、さらに距離空間(Metric Space)となる。
```
```ad-theorem
title: 定理 1.1 コーシー-シュワルツ不等式 (Theorem 1.1 Cauchy-Schwarz Inequality)
内積空間 $V$ の任意の二つのベクトル $\mathbf{u}, \mathbf{v}$ について次が成立する$^{[8]}$:
$$
|\langle \mathbf{u}, \mathbf{v} \rangle| \leq \|\mathbf{u}\| \cdot \|\mathbf{v}\|.
\tag{1.3}
$$
等号は $\mathbf{u}$ と $\mathbf{v}$ が線形従属であるとき（すなわち、一方が他方のスカラー倍であるとき）に成立する。
```
```ad-definition
title: 定義 1.3 コサイン類似度 (Definition 1.3 Cosine Similarity)
二つの非零ベクトル $\mathbf{a}, \mathbf{b} \in \mathbb{R}^n$ について、コサイン類似度は正規化された内積として定義される$^{[13]}$:
$$
\text{cosine\_similarity}(\mathbf{a}, \mathbf{b}) = \frac{\langle \mathbf{a}, \mathbf{b} \rangle}{\|\mathbf{a}\| \|\mathbf{b}\|} = \cos\theta.
\tag{1.5}
$$
コサイン類似度はベクトルの大きさを除去し方向の類似性のみを測定するため、文書分類、意味検索などで広く使用される。
```
### 1.2 幾何学と空間的イメージ (Geometry and Spatial Intuition)
内積の幾何学的意味は**射影(Projection)** である。$\langle \mathbf{a}, \mathbf{b} \rangle$ はベクトル $\mathbf{a}$ を $\mathbf{b}$ 方向に射影した長さに $\|\mathbf{b}\|$ を乗じた値である。$\mathbf{b}$ が単位ベクトル(Unit Vector)のとき、内積は正確に $\mathbf{a}$ の $\mathbf{b}$ 上への射影長となる。
この観点から、コサイン類似度は二つのベクトル方向の整列度を測定する:
- $\cos\theta = 1$: 同一方向、最大類似度;
- $\cos\theta = 0$: 直交、類似度 0;
- $\cos\theta = -1$: 反対方向、最大反類似度。
### 1.3 ハードコア例題詳細解説 (Worked Example)
```ad-example
title: 例題 1.1 グラム-シュミット直交化 (Example 1.1 Gram-Schmidt Orthogonalization)
$\mathbb{R}^3$ において三つのベクトル $\mathbf{v}_1 = (1, 1, 0)$, $\mathbf{v}_2 = (1, 0, 1)$, $\mathbf{v}_3 = (0, 1, 1)$ が与えられた。これらのベクトルからグラム-シュミット過程を用いて一組の直交基底を構成せよ。
**解**:
**ステップ 1**: $\mathbf{u}_1 = \mathbf{v}_1 = (1, 1, 0)$ と設定。$\|\mathbf{u}_1\| = \sqrt{2}$。
**ステップ 2**: $\mathbf{v}_2$ から $\mathbf{u}_1$ 上への射影を除去:
$$
\text{proj}_{\mathbf{u}_1}(\mathbf{v}_2) = \frac{\langle \mathbf{v}_2, \mathbf{u}_1 \rangle}{\langle \mathbf{u}_1, \mathbf{u}_1 \rangle} \mathbf{u}_1 = \frac{1}{2} (1, 1, 0) = (0.5, 0.5, 0)
$$
$$
\mathbf{u}_2 = \mathbf{v}_2 - \text{proj}_{\mathbf{u}_1}(\mathbf{v}_2) = (1, 0, 1) - (0.5, 0.5, 0) = (0.5, -0.5, 1)
$$
**ステップ 3**: $\mathbf{v}_3$ から $\mathbf{u}_1$ と $\mathbf{u}_2$ 上への射影を除去:
$$
\text{proj}_{\mathbf{u}_1}(\mathbf{v}_3) = \frac{0}{2} \mathbf{u}_1 = (0, 0, 0), \quad
\text{proj}_{\mathbf{u}_2}(\mathbf{v}_3) = \frac{\langle \mathbf{v}_3, \mathbf{u}_2 \rangle}{\langle \mathbf{u}_2, \mathbf{u}_2 \rangle} \mathbf{u}_2
$$
$\langle \mathbf{v}_3, \mathbf{u}_2 \rangle = 0 \times 0.5 + 1 \times (-0.5) + 1 \times 1 = 0.5$, $\langle \mathbf{u}_2, \mathbf{u}_2 \rangle = 0.25 + 0.25 + 1 = 1.5$.
$$
\text{proj}_{\mathbf{u}_2}(\mathbf{v}_3) = \frac{0.5}{1.5} (0.5, -0.5, 1) = \left(\frac{1}{6}, -\frac{1}{6}, \frac{1}{3}\right)
$$
$$
\mathbf{u}_3 = \mathbf{v}_3 - \text{proj}_{\mathbf{u}_1}(\mathbf{v}_3) - \text{proj}_{\mathbf{u}_2}(\mathbf{v}_3) = \left(-\frac{1}{6}, \frac{7}{6}, \frac{2}{3}\right)
$$
**検証**: $\langle \mathbf{u}_1, \mathbf{u}_2 \rangle = 0.5 - 0.5 + 0 = 0$。直交性が確認された。
```
### 1.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
内積とコサイン類似度は自然言語処理(NLP)において単語埋め込み(Word Embedding)の意味的類似度を測定する標準ツールである$^{[21]}$。Word2Vec、GloVeなどの埋め込みモデルは各単語を高次元ベクトルに写像し、単語間の意味的類似度はコサイン類似度で定量化される。
図1は5つの単語埋め込み間のコサイン類似度ヒートマップを示す。"king-queen"、"man-woman"のペアは類似度が高く(明るい色)、"apple"は他の単語との類似度が低い(暗い色)。これは内積が単なる数学演算を超えて意味的関係を捕捉できることを示している。
**図1: 単語埋め込みコサイン類似度ヒートマップ(Figure 1: Cosine Similarity Heatmap of Word Embeddings).** "king-queen"と"man-woman"は意味的類似性が高く、コサイン類似度が高い。"apple"は果物カテゴリに属するため他の単語との類似度が低い。
---
## 第2章 直交分解 — 複雑なものを分離する技術 (Chapter 2 Orthogonal Decomposition — The Art of Separating Complex Things)
### 2.1 理論と厳密な定義 (Theory and Rigorous Definitions)
直交分解(Orthogonal Decomposition)は内積空間において最も強力なツールの一つである。その核となるアイデアは：ベクトル空間を相互に直交する部分空間の直和(Direct Sum)に分解することである。
```ad-definition
title: 定義 2.1 直交補空間 (Definition 2.1 Orthogonal Complement)
$V$ を内積空間とし、$W \subseteq V$ を部分空間とする。$W$ の直交補空間(Orthogonal Complement) $W^\perp$ は $W$ のすべてのベクトルと直交するベクトルの集合として定義される$^{[2]}$:
$$
W^\perp = \{ \mathbf{v} \in V \mid \langle \mathbf{v}, \mathbf{w} \rangle = 0,\ \forall \mathbf{w} \in W \}.
\tag{2.1}
$$
```
```ad-theorem
title: 定理 2.1 直交分解定理 (Theorem 2.1 Orthogonal Decomposition Theorem)
$W$ を内積空間 $V$ の有限次元部分空間とする。このとき任意の $\mathbf{v} \in V$ は一意に次のように分解される$^{[2]}$:
$$
\mathbf{v} = \mathbf{w} + \mathbf{w}^\perp,
\tag{2.2}
$$
ここで $\mathbf{w} \in W$ かつ $\mathbf{w}^\perp \in W^\perp$ である。すなわち $V = W \oplus W^\perp$ である。$\mathbf{w}$ を $W$ 上への $\mathbf{v}$ の直交射影(Orthogonal Projection)といい、$\text{proj}_W(\mathbf{v})$ と表記する。
```
```ad-theorem
title: 定理 2.2 直交基底上への射影 (Theorem 2.2 Projection onto an Orthogonal Basis)
$\{\mathbf{u}_1, \dots, \mathbf{u}_k\}$ が部分空間 $W$ の直交基底(Orthogonal Basis)であるとする。$W$ 上への $\mathbf{v}$ の直交射影は、各基底方向への射影の和で与えられる:
$$
\text{proj}_W(\mathbf{v}) = \sum_{i=1}^{k} \frac{\langle \mathbf{v}, \mathbf{u}_i \rangle}{\langle \mathbf{u}_i, \mathbf{u}_i \rangle} \mathbf{u}_i.
\tag{2.3}
$$
基底が正規直交(Orthonormal)であれば($\|\mathbf{u}_i\| = 1$)、公式はより簡単になる:
$$
\text{proj}_W(\mathbf{v}) = \sum_{i=1}^{k} \langle \mathbf{v}, \mathbf{u}_i \rangle \mathbf{u}_i.
\tag{2.4}
$$
```
### 2.2 幾何学と空間的イメージ (Geometry and Spatial Intuition)
直交分解の幾何学的意味は非常に直感的である：3次元空間においてベクトル $\mathbf{v}$ は $xy$-平面上への射影 $\mathbf{w}$ と $z$ 軸方向の成分 $\mathbf{w}^\perp$ に分解できる。$\mathbf{w}$ は $\mathbf{v}$ から $W$ に垂直な成分を除去して得られる。
式 (2.3) の各項 $\frac{\langle \mathbf{v}, \mathbf{u}_i \rangle}{\langle \mathbf{u}_i, \mathbf{u}_i \rangle} \mathbf{u}_i$ は $\mathbf{v}$ を $\mathbf{u}_i$ 方向に射影したものである。直交基底の利点は、各方向への射影が互いに独立であることである—ある方向の射影を変更しても他の方向の射影に影響を与えない。
### 2.3 ハードコア例題詳細解説 (Worked Example)
```ad-example
title: 例題 2.1 直交基底上への射影 (Example 2.1 Projection onto an Orthogonal Basis)
$\mathbb{R}^3$ において部分空間 $W = \text{span}\{\mathbf{u}_1, \mathbf{u}_2\}$ を考える。ここで $\mathbf{u}_1 = (1, 1, 0)$, $\mathbf{u}_2 = (0, 0, 1)$ である。$\mathbf{v} = (3, 1, 2)$ を $W$ 上に射影せよ。
**解**: まず $\mathbf{u}_1$ と $\mathbf{u}_2$ が直交することを確認: $\langle \mathbf{u}_1, \mathbf{u}_2 \rangle = 1 \times 0 + 1 \times 0 + 0 \times 1 = 0$。直交している。
式 (2.3) を使用:
$$
\text{proj}_W(\mathbf{v}) = \frac{\langle \mathbf{v}, \mathbf{u}_1 \rangle}{\langle \mathbf{u}_1, \mathbf{u}_1 \rangle} \mathbf{u}_1 + \frac{\langle \mathbf{v}, \mathbf{u}_2 \rangle}{\langle \mathbf{u}_2, \mathbf{u}_2 \rangle} \mathbf{u}_2.
$$
各項を計算:
$$
\frac{\langle \mathbf{v}, \mathbf{u}_1 \rangle}{\langle \mathbf{u}_1, \mathbf{u}_1 \rangle} = \frac{3 \times 1 + 1 \times 1 + 2 \times 0}{1^2 + 1^2 + 0^2} = \frac{4}{2} = 2,
$$
$$
\frac{\langle \mathbf{v}, \mathbf{u}_2 \rangle}{\langle \mathbf{u}_2, \mathbf{u}_2 \rangle} = \frac{3 \times 0 + 1 \times 0 + 2 \times 1}{0^2 + 0^2 + 1^2} = \frac{2}{1} = 2.
$$
したがって:
$$
\text{proj}_W(\mathbf{v}) = 2 \times (1, 1, 0) + 2 \times (0, 0, 1) = (2, 2, 2).
$$
直交成分 $\mathbf{w}^\perp = \mathbf{v} - \text{proj}_W(\mathbf{v}) = (3, 1, 2) - (2, 2, 2) = (1, -1, 0)$。
**検証**: $\langle \mathbf{w}^\perp, \mathbf{u}_1 \rangle = 1 \times 1 + (-1) \times 1 + 0 \times 0 = 0$, $\langle \mathbf{w}^\perp, \mathbf{u}_2 \rangle = 1 \times 0 + (-1) \times 0 + 0 \times 1 = 0$。$\mathbf{w}^\perp$ は実際に $W$ に直交している。
```
### 2.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
直交分解の最も重要な応用の一つは**主成分分析(PCA, Principal Component Analysis)** である$^{[24]}$。PCAはデータの共分散行列を対角化し、データの分散が最も大きい方向(主成分)を見つける。これらの主成分は直交基底をなし、元のデータをこの基底に射影することで次元削減とノイズ除去を達成する。
具体的には、データ行列 $X \in \mathbb{R}^{n \times d}$(中心化済み)の共分散行列 $C = \frac{1}{n-1} X^T X$ を考える。$C$ の固有ベクトル $\{\mathbf{e}_1, \dots, \mathbf{e}_d\}$ は直交基底をなし、対応する固有値 $\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_d$ は各方向の分散を表す。データ点 $\mathbf{x}$ の $k$ 番目の主成分上への射影は $\langle \mathbf{x}, \mathbf{e}_k \rangle$ である。
---
## 第3章 最小二乗法 — 存在しない解を見つける方法 (Chapter 3 Least Squares — How to Find a Solution That Doesn't Exist)
### 3.1 理論と厳密な定義 (Theory and Rigorous Definitions)
過剰決定(Overdetermined)線形システム $A\mathbf{x} = \mathbf{b}$(方程式の数 > 未知数の数)は通常、正確な解を持たない。**最小二乗法(Least Squares Method)** は残差 $\|\mathbf{b} - A\mathbf{x}\|$ の $L_2$ ノルムを最小化する $\hat{\mathbf{x}}$ を求める$^{[5]}$。
```ad-theorem
title: 定理 3.1 正規方程式 (Theorem 3.1 Normal Equations)
$A \in \mathbb{R}^{m \times n}$($m > n$) かつ $\mathbf{b} \in \mathbb{R}^m$ とする。最小二乗問題 $\min_{\mathbf{x}} \|A\mathbf{x} - \mathbf{b}\|^2$ の解 $\hat{\mathbf{x}}$ は次の正規方程式(Normal Equations)を満たす:
$$
A^T A \hat{\mathbf{x}} = A^T \mathbf{b}.
\tag{3.1}
$$
$A$ の列が線形独立であれば $A^T A$ は可逆であり、一意な解は
$$
\hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}.
\tag{3.2}
$$
**証明**: コスト関数 $J(\mathbf{x}) = \|A\mathbf{x} - \mathbf{b}\|^2 = (A\mathbf{x} - \mathbf{b})^T (A\mathbf{x} - \mathbf{b})$ を最小化する。$J$ を $\mathbf{x}$ について微分し0とおく:
$$
\nabla J(\mathbf{x}) = 2A^T (A\mathbf{x} - \mathbf{b}) = 0 \implies A^T A \mathbf{x} = A^T \mathbf{b}.
$$
$\square$
```
```ad-theorem
title: 定理 3.2 射影としての最小二乗法 (Theorem 3.2 Least Squares as Projection)
最小二乗解 $\hat{\mathbf{x}}$ は $\mathbf{b}$ を $A$ の列空間 $\operatorname{Col}(A)$ に直交射影して得られる:
$$
\hat{\mathbf{y}} = A\hat{\mathbf{x}} = A (A^T A)^{-1} A^T \mathbf{b} = P \mathbf{b},
\tag{3.3}
$$
ここで $P = A (A^T A)^{-1} A^T$ は $\operatorname{Col}(A)$ 上への直交射影行列(Orthogonal Projection Matrix)である。$P$ は冪等(Idempotent, $P^2 = P$)かつ対称($P^T = P$)である。
```
### 3.2 幾何学と空間的イメージ (Geometry and Spatial Intuition)
最小二乗法の幾何学的意味は非常に明確である: $\mathbf{b}$ は $A$ の列空間 $\operatorname{Col}(A)$ に属さない。最適な近似は $\mathbf{b}$ を $\operatorname{Col}(A)$ に直交射影して得られる $\hat{\mathbf{y}}$ である。残差 $\mathbf{r} = \mathbf{b} - \hat{\mathbf{y}}$ は列空間に垂直であり、したがって $A^T \mathbf{r} = \mathbf{0}$ を満たす。
### 3.3 ハードコア例題詳細解説 (Worked Example)
```ad-example
title: 例題 3.1 直線フィッティング — 正規方程式の手計算 (Example 3.1 Line Fitting — Manual Solution of Normal Equations)
三つのデータ点 $(1, 1)$, $(2, 3)$, $(3, 2)$ が与えられた。最小二乗法を用いて最適フィッティング直線 $y = \beta_0 + \beta_1 x$ を求めよ。
**解**:
**ステップ 1**: 行列形式を構成。
$$
A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix},\quad
\mathbf{b} = \begin{bmatrix} 1 \\ 3 \\ 2 \end{bmatrix},\quad
\mathbf{x} = \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}.
$$
**ステップ 2**: 正規方程式 $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ を構成。
$$
A^T A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix}
\begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}
= \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix},
$$
$$
A^T \mathbf{b} = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix}
\begin{bmatrix} 1 \\ 3 \\ 2 \end{bmatrix}
= \begin{bmatrix} 6 \\ 13 \end{bmatrix}.
$$
正規方程式:
$$
\begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix} = \begin{bmatrix} 6 \\ 13 \end{bmatrix}.
$$
**ステップ 3**: 逆行列を用いて解く:
$$
\det = 3 \times 14 - 6 \times 6 = 42 - 36 = 6,
$$
$$
(\mathbf{A}^T \mathbf{A})^{-1} = \frac{1}{6} \begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix},
$$
$$
\hat{\mathbf{x}} = \frac{1}{6} \begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix} \begin{bmatrix} 6 \\ 13 \end{bmatrix} = \frac{1}{6} \begin{bmatrix} 84 - 78 \\ -36 + 39 \end{bmatrix} = \frac{1}{6} \begin{bmatrix} 6 \\ 3 \end{bmatrix} = \begin{bmatrix} 1 \\ 0.5 \end{bmatrix}.
$$
したがって最適直線は $\hat{y} = 1 + 0.5x$ である。
**ステップ 4**: 射影の検証:
$$
\hat{\mathbf{y}} = \mathbf{A}\hat{\mathbf{x}} = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 0.5 \end{bmatrix} = \begin{bmatrix} 1.5 \\ 2.0 \\ 2.5 \end{bmatrix},
$$
$$
\mathbf{r} = \mathbf{b} - \hat{\mathbf{y}} = \begin{bmatrix} 1 \\ 3 \\ 2 \end{bmatrix} - \begin{bmatrix} 1.5 \\ 2.0 \\ 2.5 \end{bmatrix} = \begin{bmatrix} -0.5 \\ 1.0 \\ -0.5 \end{bmatrix}.
$$
$\mathbf{A}^T \mathbf{r} = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix} \begin{bmatrix} -0.5 \\ 1.0 \\ -0.5 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$ が確認でき、残差が列空間に直交することを意味する。
```
### 3.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
図2は最小二乗射影の幾何学的直観を示す。観測ベクトル $\mathbf{b}$ は $\mathbf{A}$ の列空間(モデル空間)に属さない。最小二乗解 $\hat{\mathbf{x}}$ は $\mathbf{b}$ を列空間に直交射影して $\hat{\mathbf{y}}$ を得、これは列空間において $\mathbf{b}$ に最も近い近似である。
**図2: 最小二乗法の直交射影解釈(Figure 2: Orthogonal Projection Interpretation of Least Squares).** $\hat{\mathbf{y}} = \mathbf{A}\hat{\mathbf{x}}$ は $\mathbf{b}$ の列空間上への直交射影であり、残差 $\mathbf{r} = \mathbf{b} - \hat{\mathbf{y}}$ は列空間に垂直である。
最小二乗法はデータ科学の礎石である$^{[25]}$: 線形回帰(Linear Regression)は最小二乗法を用いて予測変数と応答変数の関係をモデル化する; システム同定(System Identification)は最小二乗法を用いて動的システムのパラメータを推定する; カルマンフィルタ(Kalman Filter)の測定更新ステップは最小二乗問題として解釈できる。すべての場合の核心は同じである: 正確な解が存在しないとき、**直交射影(Orthogonal Projection)** を通じて最適な近似解を見つけることである。
---
## 第4章 関数空間の内積 — ヒルベルト空間への拡張 (Chapter 4 Inner Products in Function Spaces — Extension to Hilbert Space)
### 4.1 理論と厳密な定義 (Theory and Rigorous Definitions)
これまでの章で議論した内積はすべて有限次元ユークリッド空間 $\mathbb{R}^n$ に限定されていた。しかし、内積の概念は自然に無限次元関数空間へと一般化できる。この一般化は関数解析学(Functional Analysis)の中核であり、線形代数と信号処理、量子力学を結ぶ架け橋である。
```ad-definition
title: 定義 4.1 $L^2$ 内積 (Definition 4.1 $L^2$ Inner Product)
$f, g: [a, b] \to \mathbb{R}$ を二乗可積分関数(Square-Integrable Function)、すなわち $\int_a^b [f(x)]^2 dx < \infty$ とする。その内積を次のように定義する:
$$
\langle f, g \rangle = \int_a^b f(x) g(x) \, dx.
\tag{4.1}
$$
この内積から導かれるノルムは
$$
\|f\| = \sqrt{\langle f, f \rangle} = \sqrt{\int_a^b [f(x)]^2 \, dx},
\tag{4.2}
$$
であり、$L^2$ ノルム($L^2$ Norm)と呼ばれ、物理的には信号の「エネルギー(Energy)」と解釈されることが多い。
```
```ad-definition
title: 定義 4.2 ヒルベルト空間 (Definition 4.2 Hilbert Space)
完備な内積空間をヒルベルト空間(Hilbert Space)という$^{[6][8]}$。具体的には、ヒルベルト空間 $\mathcal{H}$ は内積空間であり、任意のコーシー列(Cauchy Sequence)が $\mathcal{H}$ 内で収束する（すなわち空間が完備である）。
有限次元内積空間 $\mathbb{R}^n$ はヒルベルト空間の特別な場合である。無限次元の例としては $L^2[a,b]$（二乗可積分関数空間）や $\ell^2$（二乗可和数列空間）がある。ヒルベルト空間の完備性により、フーリエ級数(Fourier Series)などの無限級数展開の収束が保証される。
```
```ad-theorem
title: 定理 4.1 $L^2$ 空間におけるコーシー-シュワルツ不等式 (Theorem 4.1 Cauchy-Schwarz Inequality in $L^2$ Space)
$L^2[a,b]$ 内の任意の関数 $f, g$ について:
$$
\left| \int_a^b f(x) g(x) \, dx \right| \leq \sqrt{\int_a^b [f(x)]^2 \, dx} \cdot \sqrt{\int_a^b [g(x)]^2 \, dx}.
\tag{4.3}
$$
```
### 4.2 幾何と空間イメージ (Geometry and Spatial Intuition)
関数をベクトルとして見る鍵は、「点ごとの対応」という考え方を理解することにある。$\mathbb{R}^n$ において、ベクトル $\mathbf{v} = (v_1, \dots, v_n)$ の第 $i$ 成分 $v_i$ は第 $i$ 座標軸上の値に対応する。関数空間では、各 $x \in [a,b]$ が独立した「座標軸」に対応し、関数値 $f(x)$ がその座標軸上の成分となる。したがって、関数 $f$ は本質的に可算無限個の成分を持つベクトルである。
二つの関数が直交する（$\langle f, g \rangle = 0$）ことは、それらが $L^2$ の意味で「互いに相手の成分を含まない」ことを意味する。この概念は信号処理において深い物理的意味を持つ：直交する信号は同一チャネルで互いに干渉することなく伝送できる。
### 4.3 硬核例題詳解 (Worked Example)
```ad-example
title: 例題 4.1 関数空間における直交性と距離の測定 (Example 4.1 Orthogonality and Distance in Function Space)
区間 $[-1, 1]$ 上で、$f(x) = x$ と $g(x) = x^2$ が与えられたとする。それらが直交するかどうかを判定し、それぞれのノルムと関数間距離を計算せよ。
**解** (1) 内積を計算する:
$$
\langle f, g \rangle = \int_{-1}^{1} x \cdot x^2 \, dx = \int_{-1}^{1} x^3 \, dx = \left[ \frac{x^4}{4} \right]_{-1}^{1} = \frac{1}{4} - \frac{1}{4} = 0.
$$
したがって $\langle f, g \rangle = 0$ であり、$f$ と $g$ は $[-1,1]$ 上で直交する。理由は $x^3$ が奇関数であり、対称区間上の積分がゼロになるためである。
(2) ノルムを計算する:
$$
\|f\| = \sqrt{\int_{-1}^{1} x^2 \, dx} = \sqrt{\left[ \frac{x^3}{3} \right]_{-1}^{1}} = \sqrt{\frac{2}{3}} \approx 0.8165,
$$
$$
\|g\| = \sqrt{\int_{-1}^{1} x^4 \, dx} = \sqrt{\left[ \frac{x^5}{5} \right]_{-1}^{1}} = \sqrt{\frac{2}{5}} \approx 0.6325.
$$
(3) 関数間距離を計算する:
$$
\|f - g\|^2 = \int_{-1}^{1} (x - x^2)^2 \, dx = \int_{-1}^{1} (x^2 - 2x^3 + x^4) \, dx = \frac{2}{3} + 0 + \frac{2}{5} = \frac{16}{15},
$$
したがって $d(f, g) = \|f - g\| = \sqrt{16/15} \approx 1.0328$。
この例題は、奇関数と偶関数が対称区間上で自然に直交することを示している。この性質はフーリエ解析において極めて重要であり、正弦基底と余弦基底の間の直交性を保証する。
```
### 4.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
関数内積の工学における最も直接的な応用は**マッチドフィルタ(Matched Filter)** である。レーダーおよび通信システムにおいて、受信信号 $r(t)$ と送信テンプレート $s(t)$ の内積
$$
\langle r, s \rangle = \int_{-\infty}^{\infty} r(t) s(t) \, dt
$$
はターゲットの有無を検出するために用いられる。エコーに対象物からの反射が含まれている場合、内積値が著しく増大する。これは本質的に関数空間における「類似度検出(Similarity Detection)」である。
さらに、**カーネル法(Kernel Methods)**$^{[22]}$ の核心的な考え方は、データ点を再生核ヒルベルト空間(RKHS: Reproducing Kernel Hilbert Space)に写像し、その無限次元空間で内積を計算することにより、暗黙的に高次元特徴変換を実現することである。これについては第12章で詳しく論じる。
---
## 第5章 三角関数の直交性 — 周波数領域の基底関数 (Chapter 5 Orthogonality of Trigonometric Functions — Basis Functions in the Frequency Domain)
### 5.1 理論と厳密な定義 (Theory and Rigorous Definitions)
ヒルベルト空間 $L^2[-\pi, \pi]$ において、三角関数系は重要な直交基底を構成する。次の関数集合を考える:
$$
\{1,\ \sin x,\ \cos x,\ \sin 2x,\ \cos 2x,\ \dots,\ \sin nx,\ \cos nx,\ \dots\}.
$$
```ad-theorem
title: 定理 5.1 三角関数の直交性 (Theorem 5.1 Orthogonality of Trigonometric Functions)
区間 $[-\pi, \pi]$ 上で、三角関数系は以下の直交関係を満たす$^{[4]}$:
$$
\int_{-\pi}^{\pi} \sin(mx) \cos(nx) \, dx = 0, \quad \forall m, n,
\tag{5.1}
$$
$$
\int_{-\pi}^{\pi} \sin(mx) \sin(nx) \, dx = 0, \quad m \neq n,
\tag{5.2}
$$
$$
\int_{-\pi}^{\pi} \cos(mx) \cos(nx) \, dx = 0, \quad m \neq n.
\tag{5.3}
$$
同一周波数の自己内積は非ゼロ:
$$
\int_{-\pi}^{\pi} \sin^2(nx) \, dx = \pi, \quad
\int_{-\pi}^{\pi} \cos^2(nx) \, dx = \pi.
\tag{5.4}
$$
**証明** これらの関係は三角関数の積和公式から直接導出できる。例えば (5.2) について:
$$
\sin(mx)\sin(nx) = \frac{1}{2}[\cos((m-n)x) - \cos((m+n)x)].
$$
$m \neq n$ のとき、$\cos((m-n)x)$ と $\cos((m+n)x)$ の $[-\pi, \pi]$ 上の積分はともにゼロである。$\square$
```
### 5.2 幾何と空間イメージ (Geometry and Spatial Intuition)
三角関数の直交性の幾何学的意味は、異なる周波数の正弦波と余弦波が $L^2$ 空間において互いに垂直であることである。これはそれらが「信号」として互いに干渉しないことを意味する——これこそが周波数分割多重化(Frequency-Division Multiplexing)の数学的基盤である。
通信システムにおいて、異なるユーザのデータは互いに直交する搬送波に変調されて同時に伝送され、受信側では内積演算によって各信号を分離できる。たとえそれらが時間領域で完全に重なっていても問題ない。この原理は現代の無線通信における**周波数領域(Frequency Domain)**$^{[16]}$ 解析の中核をなす。
### 5.3 硬核例題詳解 (Worked Example)
```ad-example
title: 例題 5.1 三角関数の直交性の手計算による検証 (Example 5.1 Manual Verification of Trigonometric Orthogonality)
$[-\pi, \pi]$ 上で以下の三組の内積を検証せよ。
**ケース A：$\langle \sin(2x), \cos(3x) \rangle$**
$$
\langle \sin(2x), \cos(3x) \rangle = \int_{-\pi}^{\pi} \sin(2x)\cos(3x) \, dx.
$$
積和公式 $\sin\alpha\cos\beta = \frac{1}{2}[\sin(\alpha+\beta) + \sin(\alpha-\beta)]$ より:
$$
\sin(2x)\cos(3x) = \frac{1}{2}[\sin(5x) + \sin(-x)] = \frac{1}{2}[\sin(5x) - \sin(x)].
$$
$\int_{-\pi}^{\pi} \sin(kx) \, dx = 0$ が任意の整数 $k$ について成立するので:
$$
\langle \sin(2x), \cos(3x) \rangle = \frac{1}{2} \times 0 - \frac{1}{2} \times 0 = 0.
$$
**ケース B：$\langle \sin(2x), \sin(3x) \rangle$**
$\sin\alpha\sin\beta = \frac{1}{2}[\cos(\alpha-\beta) - \cos(\alpha+\beta)]$ より:
$$
\sin(2x)\sin(3x) = \frac{1}{2}[\cos(-x) - \cos(5x)] = \frac{1}{2}[\cos(x) - \cos(5x)].
$$
$\int_{-\pi}^{\pi} \cos(kx) \, dx = 0$ が $k \neq 0$ について成立するので:
$$
\langle \sin(2x), \sin(3x) \rangle = \frac{1}{2} \times 0 - \frac{1}{2} \times 0 = 0.
$$
**ケース C：$\langle \sin(2x), \sin(2x) \rangle$（自己内積）**
倍角公式 $\sin^2\theta = (1 - \cos 2\theta)/2$ を用いる:
$$
\langle \sin(2x), \sin(2x) \rangle = \int_{-\pi}^{\pi} \frac{1 - \cos(4x)}{2} \, dx = \frac{1}{2} \cdot 2\pi - 0 = \pi.
$$
この結果は $\|\sin(2x)\| = \sqrt{\pi}$ を意味し、これがフーリエ級数(Fourier Series)の係数の分母に $\pi$ が現れる理由である。
```
### 5.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
**直交周波数分割多重(OFDM: Orthogonal Frequency-Division Multiplexing)** は現代の4G/5G無線通信の中核技術である$^{[16]}$。高速データストリームを複数の低速サブストリームに分割し、それぞれを互いに直交するサブキャリアに変調して並列伝送する。サブキャリア間の直交性
$$
\int_0^T \sin(2\pi f_k t) \cdot \sin(2\pi f_l t) \, dt = 0, \quad k \neq l,
$$
により、受信側は内積演算によって各サブキャリア信号を完全に分離できる。たとえそれらがスペクトル上で大きく重なっていても問題ない。これにより周波数利用効率が大幅に向上する。
---
## 第6章 フーリエ級数とフーリエ変換 — 三角基底上への関数の射影 (Chapter 6 Fourier Series and Fourier Transform — Projection of Functions onto Trigonometric Bases)
### 6.1 理論と厳密な定義 (Theory and Rigorous Definitions)
三角関数系の直交性により、任意の周期関数を異なる周波数の三角関数の線形結合に分解できる。この分解を**フーリエ級数(Fourier Series)**$^{[11]}$ という。
```ad-theorem
title: 定理 6.1 フーリエ級数 (Theorem 6.1 Fourier Series)
$f(t)$ を $2\pi$ を周期とする二乗可積分関数とする。そのフーリエ級数展開は
$$
f(t) = \frac{a_0}{2} + \sum_{n=1}^{\infty} [a_n \cos(nt) + b_n \sin(nt)],
\tag{6.1}
$$
であり、係数は内積によって与えられる:
$$
a_0 = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \, dt,
\tag{6.2}
$$
$$
a_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \cos(nt) \, dt = \frac{\langle f, \cos(nt) \rangle}{\|\cos(nt)\|^2},
\tag{6.3}
$$
$$
b_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \sin(nt) \, dt = \frac{\langle f, \sin(nt) \rangle}{\|\sin(nt)\|^2}.
\tag{6.4}
$$
式 (6.3)-(6.4) はフーリエ係数の本質を明らかにする: それらは関数 $f$ の各三角基底への射影係数（内積を基底のノルム二乗で割ったもの）であり、有限次元ベクトルにおける直交基底上の座標計算と完全に一致する。
周期 $T \to \infty$ のとき、フーリエ級数は**フーリエ変換(Fourier Transform)**$^{[12]}$ へと移行する:
$$
X(f) = \int_{-\infty}^{\infty} x(t) e^{-j2\pi ft} \, dt = \langle x(t), e^{j2\pi ft} \rangle.
\tag{6.5}
$$
フーリエ変換は時間領域関数 $x(t)$ を複素指数基底 $e^{j2\pi ft}$ に射影し、周波数領域表現 $X(f)$ を得る。
```
### 6.2 幾何と空間イメージ (Geometry and Spatial Intuition)
フーリエ変換の幾何学的本質は「プローブ(Probe)」の考え方である：異なる周波数の複素指数振動をプローブとして用い、解析対象の信号と内積を計算する。信号がその周波数成分を含んでいれば内積値は大きくなり（スペクトルにピークが生じる）、含んでいなければ内積値はゼロに近づく。スペクトル図上の各ピークは、その周波数基底への信号の射影強度に対応する。
### 6.3 硬核例題詳解 (Worked Example)
```ad-example
title: 例題 6.1 周期方形波のフーリエ級数展開 (Example 6.1 Fourier Series Expansion of a Periodic Square Wave)
周期 $2\pi$ の方形波
$$
f(t) = \begin{cases}
1, & 0 < t < \pi, \\
-1, & -\pi < t < 0,
\end{cases}
$$
のフーリエ級数係数を求めよ。
**解** $f(t)$ は奇関数であるため、$a_0 = a_n = 0$（余弦係数はすべてゼロ）。$b_n$ のみを計算すればよい。
$$
b_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \sin(nt) \, dt = \frac{1}{\pi} \left( \int_{-\pi}^{0} (-\sin(nt)) \, dt + \int_{0}^{\pi} \sin(nt) \, dt \right).
$$
第一項を計算: $\int_{-\pi}^{0} -\sin(nt) \, dt = \left[ \frac{\cos(nt)}{n} \right]_{-\pi}^{0} = \frac{1}{n} - \frac{\cos(-n\pi)}{n} = \frac{1 - (-1)^n}{n}$。
第二項を計算: $\int_{0}^{\pi} \sin(nt) \, dt = \left[ -\frac{\cos(nt)}{n} \right]_{0}^{\pi} = -\frac{\cos(n\pi)}{n} + \frac{1}{n} = \frac{1 - (-1)^n}{n}$。
したがって:
$$
b_n = \frac{1}{\pi} \cdot \frac{2[1 - (-1)^n]}{n} = \begin{cases}
\dfrac{4}{n\pi}, & n \text{ が奇数のとき}, \\[6pt]
0, & n \text{ が偶数のとき}.
\end{cases}
\tag{6.6}
$$
故に方形波のフーリエ級数展開は
$$
f(t) = \frac{4}{\pi} \sum_{k=0}^{\infty} \frac{\sin((2k+1)t)}{2k+1} = \frac{4}{\pi} \left( \sin t + \frac{1}{3}\sin 3t + \frac{1}{5}\sin 5t + \cdots \right).
\tag{6.7}
$$
数値検証: $t = \pi/2$ とすると、最初の3項の近似は
$$
f(\pi/2) \approx \frac{4}{\pi} \left( 1 - \frac{1}{3} + \frac{1}{5} \right) = \frac{52}{15\pi} \approx 1.103,
$$
であり、真値 $1$ に近い。項数を増やすと方形波に収束する（ギブズ現象(Gibbs Phenomenon)により不連続点で約 $9\%$ のオーバーシュートが生じる）。
```
### 6.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
図3はフーリエ変換の典型的な応用を示している。50 Hz、120 Hz、260 Hz の三つの周波数成分を含むノイズ混じりの信号 $x(t)$ は、時間領域では一見乱雑に見える。フーリエ変換後、スペクトル図は対応する周波数に三つの明確なピークを示す——これらは各周波数基底への信号の射影強度にはかならない。
**図3：フーリエ変換の周波数領域射影。** 上図はノイズ混じりの多音信号 $x(t) = 1.2\sin(2\pi\cdot 50t) + 0.7\sin(2\pi\cdot 120t) + 0.4\sin(2\pi\cdot 260t) + \eta(t)$ の時間領域波形；下図は振幅スペクトルであり、50、120、260 Hz に顕著なピークが現れている。この図は main.py 内の `np.fft.rfft`（離散フーリエ変換）によって生成され、その本質は時間領域サンプリングベクトルと複素指数基底ベクトルの内積計算である。
フーリエ解析の応用は工学のあらゆる分野に及ぶ：MP3 音声圧縮は人間の耳に敏感でない高周波成分を切り捨てることでデータ量を削減する；JPEG 画像圧縮は離散コサイン変換(DCT: Discrete Cosine Transform)$^{[18]}$ を用いて画像ブロックを周波数基底に射影する；心電図(ECG)信号の周波数領域診断はスペクトル特徴を利用して病理パターンを識別する。
---
## 第7章 周波数領域から複素周波数領域へ — ラプラス変換とZ変換 (Chapter 7 From Frequency Domain to Complex Frequency Domain — Laplace and Z-Transforms)
### 7.1 理論と厳密な定義 (Theory and Rigorous Definitions)
フーリエ変換は信号が絶対可積分条件 $\int_{-\infty}^{\infty} |f(t)|\,dt < \infty$ を満たすことを要求する。$f(t) = e^{2t}$（$t \geq 0$）のような指数発散信号の場合、そのエネルギーは $t$ の増加に伴って発散し、フーリエ変換の内積 $\langle f(t), e^{-j\omega t} \rangle$ は収束しない。この問題を解決するには、探査基底を純虚指数 $e^{-j\omega t}$ から実部に減衰因子を持つ複素指数 $e^{-st}$ へと一般化する必要がある。ここで $s = \sigma + j\omega$ である。 ```ad-definition title: 定義 7.1 ラプラス変換 (Definition 7.1 Laplace Transform) $f(t)$ を $[0, \infty)$ 上で定義された関数とする。その**ラプラス変換(Laplace Transform)** は次のように定義される$^{[14]}$: $$F(s) = \mathcal{L}\{f(t)\} = \int_0^{\infty} f(t) e^{-st}\,dt, \quad s = \sigma + j\omega \in \mathbb{C} \tag{7.1}$$ $s$ の実部 $\sigma$ が十分大きいとき、減衰因子 $e^{-\sigma t}$ は $f(t)$ の発散傾向を抑制し、積分を収束させる。(7.1) を収束させる $s$ の値の集合を**収束領域(ROC: Region of Convergence)** という。 ``` ```ad-definition title: 定義 7.2 Z変換 (Definition 7.2 Z-Transform) $x[n]$ を $\mathbb{Z}$ 上で定義された離散系列とする。その**Z変換(Z-Transform)** は次のように定義される$^{[15]}$: $$X(z) = \mathcal{Z}\{x[n]\} = \sum_{n=-\infty}^{\infty} x[n] z^{-n}, \quad z = re^{j\omega} \in \mathbb{C} \tag{7.2}$$ Z変換はラプラス変換の離散領域における対応物と見なせる：$z = e^{sT}$（$T$ はサンプリング周期）とおくと、$z$ 平面上の単位円 $|z| = 1$ は $s$ 平面上の虚軸 $s = j\omega$ に対応する。 内積の観点から見ると、ラプラス変換とZ変換はともに信号と複素指数基底関数との内積として理解できる: $$\mathcal{L}\{f(t)\} = \langle f(t), e^{st} \rangle, \quad \mathcal{Z}\{x[n]\} = \langle x[n], z^n \rangle$$ ここで基底関数 $e^{st}$ と $z^n$ は振幅減衰（$\sigma$ または $r$ による）と位相回転（$\omega$ による）の二つの自由度を含み、フーリエ変換の基底よりも表現力が高い。 ``` ### 7.2 幾何と空間イメージ (Geometry and Spatial Intuition) フーリエ変換の基底 $e^{-j\omega t}$ は複素平面上の単位円上の等速回転ベクトルであり、その絶対値は常に1である。発散信号 $e^{2t}$ の場合、被積分関数 $|e^{2t} \cdot e^{-j\omega t}| = e^{2t}$ は $t$ の増加に伴って発散し、積分は決して収束しない。 ラプラス変換の基底 $e^{-(\sigma + j\omega)t} = e^{-\sigma t} e^{-j\omega t}$ は「減衰調整つまみ」$\sigma$ を追加している。$\sigma > 2$ のとき、$e^{-\sigma t}$ の減衰率が $e^{2t}$ の発散率を上回り、内積積分は収束する。複素 $s$ 平面上:
- **収束領域(ROC)**：変換を収束させる $s$ 値の領域；
- **極(Pole)**：$F(s)$ の分母をゼロにし、変換を無限大に発散させる点；
- **零点(Zero)**：$F(s)$ の分子をゼロにし、変換をゼロにする点。
極の位置はシステムの安定性を直接決定する：すべての極が左半平面（$\text{Re}(s) < 0$）にあるときシステムは安定；いずれかの極が右半平面にあるときシステムは発散する。 Z変換の幾何学的解釈も同様である：$z = re^{j\omega}$ において、$r$ は振幅の拡大縮小を制御し、$\omega$ は位相回転を制御する。収束領域は $|z| > R$（右辺系列）または $|z| < R$（左辺系列）の円環/外部領域となる。極が単位円内にあるとき離散システムは安定である。 ### 7.3 硬核例題詳解 (Worked Example) ```ad-example title: 例題 7.1 発散関数のラプラス変換 — 極と収束領域の解析 (Example 7.1 Laplace Transform of a Divergent Function — Pole and ROC Analysis) 指数発散関数 $f(t) = e^{2t}$（$t \geq 0$）が与えられたとき、そのラプラス変換を計算し、収束領域と極を解析せよ。 **解**：ラプラス変換の定義式 (7.1) に代入する: $$F(s) = \int_0^{\infty} e^{2t} \cdot e^{-st}\,dt = \int_0^{\infty} e^{-(s-2)t}\,dt$$ $a = s - 2 = (\sigma - 2) + j\omega$ とおく: $$F(s) = \int_0^{\infty} e^{-at}\,dt = \left[-\frac{1}{a}e^{-at}\right]_{t=0}^{t=\infty}$$ $t \to \infty$ のとき $e^{-at} \to 0$ となるためには $\text{Re}(a) > 0$、すなわち $\text{Re}(s - 2) > 0$、つまり $\sigma > 2$ が必要である。この条件下で:
$$F(s) = 0 - \left(-\frac{1}{a}\right) = \frac{1}{a} = \frac{1}{s - 2}$$
したがって:
$$\mathcal{L}\{e^{2t}\} = \frac{1}{s - 2}, \quad \text{ROC: } \text{Re}(s) > 2, \quad \text{Pole: } s = 2$$
**分析**：フーリエ変換は $\sigma = 0$ に対応するが、$s = j\omega$ の実部は0であり、2より小さいため収束領域内にない——これが $e^{2t}$ のフーリエ変換が存在しない理由である。ラプラス変換は実部の自由度 $\sigma$ を導入することで、積分経路を虚軸から複素平面の右半平面に一般化し、発散信号を扱えるようにする。
```
```ad-example
title: 例題 7.2 離散系列のZ変換 — 収束領域と安定性解析 (Example 7.2 Z-Transform of a Discrete Sequence — ROC and Stability Analysis)
離散系列 $x[n] = (0.5)^n u[n]$ が与えられたとする。ここで $u[n]$ は単位ステップ関数（$n < 0$ で0、$n \geq 0$ で1）である。そのZ変換を計算し、収束領域と安定性を解析せよ。 **解**：Z変換の定義式 (7.2) に代入する: $$X(z) = \sum_{n=0}^{\infty} (0.5)^n z^{-n} = \sum_{n=0}^{\infty} (0.5 z^{-1})^n$$ これは等比級数である。$|0.5 z^{-1}| < 1$ すなわち $|z| > 0.5$ のとき級数は収束する:
$$X(z) = \frac{1}{1 - 0.5z^{-1}} = \frac{z}{z - 0.5}, \quad \text{ROC: } |z| > 0.5$$
収束領域は原点を中心とし半径0.5の円の外部領域である。単位円 $|z| = 1$ は完全に収束領域内にあり、この系列の離散時間フーリエ変換(DTFT: Discrete-Time Fourier Transform、$z = e^{j\omega}$ に対応)が存在することを意味する。極は $z = 0.5$ にあり、単位円内部にあるため、このシステムは安定である。
```
### 7.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
ラプラス変換は制御理論の基盤である。フィードバック制御システムにおいて、システムの伝達関数 $H(s)$ の極の位置が安定性を直接決定する:
- すべての極が左半平面（$\text{Re}(s) < 0$）にある：システムは安定、インパルス応答は指数減衰；
- 極が右半平面（$\text{Re}(s) > 0$）に存在する：システムは発散、インパルス応答は指数増加；
- 極が虚軸上（$\text{Re}(s) = 0$）にある：システムは臨界安定、インパルス応答は等振幅振動。
Z変換はデジタル信号処理の中核である。デジタルフィルタの周波数応答は $H(z)$ の単位円上の値によって決定され、安定性はすべての極が単位円内にあるかどうかによって決定される。IIRフィルタ設計は本質的に
$z$ 平面上で極と零点を配置し、目標の周波数応答に近似することである。
---
## 第8章 畳み込みの本質 — 「滑動する内積」 (Chapter 8 The Essence of Convolution — "Sliding Inner Product")
### 8.1 理論と厳密な定義 (Theory and Rigorous Definitions)
畳み込み(Convolution)は信号処理、制御理論、深層学習において最も中核的な演算の一つである$^{[17]}$。内積の観点から見ると、畳み込みの本質は**滑動窓上の内積系列(Sliding Window Inner Product Sequence)** である。
```ad-definition
title: 定義 8.1 畳み込み (Definition 8.1 Convolution)
$f, g: \mathbb{R} \to \mathbb{R}$ を二つの連続関数とする。その**畳み込み(Convolution)** は次のように定義される:
$$(f * g)(t) = \int_{-\infty}^{\infty} f(\tau) g(t - \tau)\,d\tau \tag{8.1}$$
離散系列 $x, h: \mathbb{Z} \to \mathbb{R}$ については、**離散畳み込み(Discrete Convolution)** は次のように定義される:
$$(x * h)[n] = \sum_{k=-\infty}^{\infty} x[k]\, h[n - k] \tag{8.2}$$
```
```ad-theorem
title: 命題 8.1 畳み込みの内積解釈 (Proposition 8.1 Inner Product Interpretation of Convolution)
固定時刻 $t$ において、畳み込み演算 $(f * g)(t)$ は関数 $f(\tau)$ と反転・平行移動された $g(\tau)$ との間の内積に等しい:
$$(f * g)(t) = \langle f(\tau), g(t - \tau) \rangle = \int f(\tau) g(t - \tau)\,d\tau \tag{8.3}$$
ここで反転操作 $g(\tau) \to g(-\tau)$ はシステムが因果性を満たすことを保証する——現在の出力は現在および過去の入力のみに依存する。
```
```ad-definition
title: 定義 8.2 相互相関 (Definition 8.2 Cross-Correlation)
畳み込みと密接に関連する演算として**相互相関(Cross-Correlation)** がある:
$$(f \star g)(t) = \int_{-\infty}^{\infty} f(\tau) g(\tau + t)\,d\tau \tag{8.4}$$
相互相関は反転操作を含まず、異なるオフセットにおける信号間の内積を直接計算する。テンプレートマッチングや類似度検出に用いられる。
```
### 8.2 幾何と空間イメージ (Geometry and Spatial Intuition)
畳み込みの幾何学的プロセスは四つのステップに分解できる:
1. **反転(Flip)**：カーネル関数 $g(\tau)$ を反転して $g(-\tau)$ とし、演算が因果性を満たすようにする；
2. **平行移動(Shift)**：反転したカーネルを $t$ だけ平行移動し、$g(t - \tau)$ を得る；
3. **乗算(Multiply)**：$f(\tau)$ と $g(t - \tau)$ を点ごとに乗算する；
4. **積分(Integrate)**：乗算結果を総和（積分）し、その時刻における内積値を得る。
$t$ の変化に伴い、カーネル関数は時間軸に沿って滑動し、各位置で信号とカーネルの内積を計算する。畳み込み結果 $y(t)$ は、滑動位置に応じた内積値の変化曲線である。内積値が大きい位置は、信号の局所部分とカーネルの波形が最も類似していることを示す——これがまさに**マッチドフィルタ(Matched Filter)** の原理である。
画像処理において、二次元畳み込みカーネル(Kernel)は画像上を滑動し、各位置で $k \times k$ 近傍とカーネルの二次元内積を計算し、一枚の「応答図(Feature Map)」を出力する。応答値の高い領域は、その局所画像ブロックが畳み込みカーネルのパターンと最も一致していることを示す。
### 8.3 硬核例題詳解 (Worked Example)
```ad-example
title: 例題 8.1 離散系列の滑動内積畳み込み — 一点ずつの手計算 (Example 8.1 Sliding Inner Product Convolution of Discrete Sequences — Point-by-Point Manual Calculation)
入力系列 $x[n] = [1, 2, 3]$（$n = 0, 1, 2$）と畳み込みカーネル $h[n] = [0.5, 1, 0.5]$（$n = 0, 1, 2$）が与えられたとする。畳み込み $y[n] = (x * h)[n]$ を計算せよ。
**解**：離散畳み込み公式 (8.2) に従い、一点ずつ計算する:
$n = 0$:
$$y[0] = \sum_{k} x[k]h[0-k] = x[0]h[0] = 1 \times 0.5 = 0.5$$
$n = 1$:
$$y[1] = x[0]h[1] + x[1]h[0] = 1 \times 1 + 2 \times 0.5 = 2$$
$n = 2$:
$$y[2] = x[0]h[2] + x[1]h[1] + x[2]h[0] = 1 \times 0.5 + 2 \times 1 + 3 \times 0.5 = 4$$
$n = 3$:
$$y[3] = x[1]h[2] + x[2]h[1] = 2 \times 0.5 + 3 \times 1 = 4$$
$n = 4$:
$$y[4] = x[2]h[2] = 3 \times 0.5 = 1.5$$
したがって $y[n] = [0.5, 2, 4, 4, 1.5]$。$n = 2, 3$ で畳み込み値が最大（4）となる。このとき入力系列 $[1, 2, 3]$ と反転カーネル $[0.5, 1, 0.5]$ の重なり領域が最大となり、内積値がピークに達する。
```
```ad-example
title: 例題 8.2 Sobel エッジ検出 — 内積テンプレートとしての二次元畳み込み (Example 8.2 Sobel Edge Detection — 2D Convolution as Inner Product Template)
Sobel 演算子は二つの $3 \times 3$ 畳み込みカーネルから構成され、それぞれ水平方向と垂直方向のエッジを検出する:
$$S_x = \begin{bmatrix} 1 & 0 & -1 \\ 2 & 0 & -2 \\ 1 & 0 & -1 \end{bmatrix}, \quad S_y = \begin{bmatrix} 1 & 2 & 1 \\ 0 & 0 & 0 \\ -1 & -2 & -1 \end{bmatrix}$$
$3 \times 3$ の局所画像ブロック（輝度値）が与えられたとする:
$$I = \begin{bmatrix} 10 & 20 & 30 \\ 10 & 20 & 30 \\ 10 & 20 & 30 \end{bmatrix}$$
この画像ブロックは水平方向に明るさの勾配（左から右へ明るくなる）を示し、垂直方向には輝度が均一である。
**解**：Sobel X 演算子と画像ブロックの二次元内積を計算する:
$$G_x = \sum_{i=1}^{3} \sum_{j=1}^{3} S_x(i,j) \cdot I(i,j)$$
$$= (1 \times 10) + (0 \times 20) + (-1 \times 30) + (2 \times 10) + (0 \times 20) + (-2 \times 30) + (1 \times 10) + (0 \times 20) + (-1 \times 30)$$
$$= 10 + 0 - 30 + 20 + 0 - 60 + 10 + 0 - 30 = -80$$
Sobel Y 演算子の二次元内積を計算する:
$$G_y = (1 \times 10) + (2 \times 20) + (1 \times 30) + (0 \times 10) + (0 \times 20) + (0 \times 30) + (-1 \times 10) + (-2 \times 20) + (-1 \times 30)$$
$$= 10 + 40 + 30 + 0 + 0 + 0 - 10 - 40 - 30 = 0$$
エッジ強度は:
$$\|\nabla I\| = \sqrt{G_x^2 + G_y^2} = \sqrt{(-80)^2 + 0^2} = 80$$
**分析**：$|G_x| = 80$ が大きいことは、水平方向に顕著な輝度変化（垂直エッジ）が存在することを示す；$G_y = 0$ は垂直方向の輝度が均一であることを示す。Sobel エッジ検出の本質は、二つの直交する畳み込みカーネル（内積テンプレート）を画像上で滑動させ、各ピクセル近傍とテンプレートの二次元内積を計算し、内積振幅が大きい位置をエッジとして検出することである。
```
### 8.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
> **図4：滑動内積とマッチドフィルタ(Matched Filter)。** 青い曲線はノイズ混じりのランダム系列 $x[n]$、赤い曲線は畳み込み応答である。テンプレートパルス $h[n] = [0, 0.35, 1.0, 0.35, 0]$ が時間軸に沿って滑動し、各位置で $\sum x[k]h[n-k]$ を計算する。オレンジ色のマーク（$n \approx 110, 265, 340$）で畳み込み値がピークに達しており、これらの位置の信号局所波形がテンプレートと最も一致することを示している。現代のレーダー信号捕捉の核心原理はこの滑動射影メカニズムに由来する。
> **図5：二次元畳み込みによるエッジ特徴抽出(Sobel Edge Detection)。** Sobel 演算子は一対の直交する $3 \times 3$ 微分テンプレートであり、それぞれ $x$ 方向と $y$ 方向の輝度勾配を検出する。テンプレートがグレースケール画像上を滑動するとき、平坦な領域では正負の射影が互いに打ち消し合い（内積がゼロに近づく）、エッジ部分ではピクセルの段差によって内積振幅が顕著に増大する。$\|\nabla I\| = \sqrt{G_x^2 + G_y^2}$ によって二つの直交成分を統合することで、物理世界のエッジ情報を抽出できる。これはコンピュータビジョンにおける特徴抽出の基礎である。
---
## 第9章 離散コサイン変換とJPEG圧縮 (Chapter 9 Discrete Cosine Transform and JPEG Compression)
### 9.1 理論と厳密な定義 (Theory and Rigorous Definitions)
離散コサイン変換(DCT: Discrete Cosine Transform)はJPEG画像圧縮標準の中核アルゴリズムである$^{[18][19]}$。内積の観点から見ると、DCTは画像ブロックを一組の離散コサイン基底関数に直交射影し、空間領域のピクセル値を周波数領域係数に変換する。
```ad-definition
title: 定義 9.1 二次元DCT (Definition 9.1 2D DCT)
$f(x, y)$ を $N \times N$ の画像ブロック（$x, y = 0, 1, \dots, N-1$）とする。その二次元DCTは次のように定義される:
$$F(u, v) = \frac{2}{N} C(u) C(v) \sum_{x=0}^{N-1} \sum_{y=0}^{N-1} f(x, y) \cos\left[\frac{(2x+1)u\pi}{2N}\right] \cos\left[\frac{(2y+1)v\pi}{2N}\right] \tag{9.1}$$
ここで $u, v = 0, 1, \dots, N-1$ は周波数インデックスであり、正規化係数は:
$$C(k) = \begin{cases} 1/\sqrt{2}, & k = 0 \\ 1, & k \neq 0 \end{cases}$$
```
```ad-theorem
title: 命題 9.1 直交射影としてのDCT (Proposition 9.1 DCT as Orthogonal Projection)
$N \times N$ 個のDCT基底関数を定義する:
$$B_{u,v}(x, y) = \frac{2}{N} C(u) C(v) \cos\left[\frac{(2x+1)u\pi}{2N}\right] \cos\left[\frac{(2y+1)v\pi}{2N}\right]$$
このとき $\{B_{u,v}\}$ は $\mathbb{R}^{N \times N}$ 上の完備な直交基底を構成し、次を満たす:
$$\langle B_{u,v}, B_{u',v'} \rangle = \sum_{x=0}^{N-1} \sum_{y=0}^{N-1} B_{u,v}(x, y) B_{u',v'}(x, y) = \delta_{u,u'} \delta_{v,v'}$$
DCT係数 $F(u, v)$ はまさに画像ブロック $f$ の基底関数 $B_{u,v}$ への射影である:
$$F(u, v) = \langle f, B_{u,v} \rangle = \sum_{x=0}^{N-1} \sum_{y=0}^{N-1} f(x, y) B_{u,v}(x, y) \tag{9.2}$$
```
```ad-theorem
title: 命題 9.2 エネルギー集中性 (Proposition 9.2 Energy Compaction)
自然画像において、DCT係数のエネルギーは主に低周波領域（$u, v$ が小さい）に集中し、高周波係数（$u, v$ が大きい）の振幅はゼロに近づく。JPEG圧縮はこの特性を利用し、量子化によって微小な高周波係数を切り捨てることで、視覚品質を維持しつつ大幅な圧縮を実現する。
```
### 9.2 幾何と空間イメージ (Geometry and Spatial Intuition)
$8 \times 8$ の画像ブロックは64次元空間中のベクトルと見なせる。DCT基底関数はこの64次元空間における完備な直交基底を構成する:
- **$B_{0,0}$（DC基底）**：定数関数、画像ブロックの平均輝度に対応；
- **低周波基底**（$u, v$ が小さい）：滑らかな勾配パターン、画像の大規模構造に対応；
- **高周波基底**（$u, v$ が大きい）：密な振動パターン、画像の詳細なテクスチャとノイズに対応。
画像ブロックベクトルをこれら64個の基底方向に射影すると、64個のDCT係数が得られる。自然画像の場合、射影エネルギーは低周波係数（左上隅）に高度に集中し、高周波係数（右下隅）はゼロに近い。JPEG圧縮は量子化によって微小な高周波係数をゼロに設定し、少数の低周波係数のみを保持することで元の画像ブロックを近似再構成する。
### 9.3 硬核例題詳解 (Worked Example)
```ad-example
title: 例題 9.1 $2 \times 2$ 画像ブロックのDCT射影係数の手計算 (Example 9.1 Manual Calculation of DCT Projection Coefficients for a $2 \times 2$ Image Block)
DCTの射影本質を示すため、$N = 2$ のミニ画像ブロックを考える。$2 \times 2$ DCT基底行列は:
$$T = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}$$
$T$ は直交行列であり、$T^T T = I$ を満たす。グレースケール画像ブロックが与えられたとする:
$$I = \begin{bmatrix} 100 & 80 \\ 60 & 40 \end{bmatrix}$$
二次元DCTは行列乗算によって実現できる: $F = T \cdot I \cdot T^T$。
**解**：
**ステップ 1**：$T \cdot I$ を計算する。
$$T \cdot I = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix} \begin{bmatrix} 100 & 80 \\ 60 & 40 \end{bmatrix} = \frac{1}{\sqrt{2}} \begin{bmatrix} 160 & 120 \\ 40 & 40 \end{bmatrix}$$
**ステップ 2**：$(T \cdot I) \cdot T^T$ を計算する。
$$F = \frac{1}{\sqrt{2}} \begin{bmatrix} 160 & 120 \\ 40 & 40 \end{bmatrix} \cdot \frac{1}{\sqrt{2}} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix} = \frac{1}{2} \begin{bmatrix} 160 & 120 \\ 40 & 40 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}$$
$$= \frac{1}{2} \begin{bmatrix} 280 & 40 \\ 80 & 0 \end{bmatrix} = \begin{bmatrix} 140 & 20 \\ 40 & 0 \end{bmatrix}$$
**ステップ 3**：DCT係数を解釈する。
- $F(0,0) = 140$：DC係数、画像ブロックの平均輝度に対応。$(100+80+60+40)/4 = 70$、$N = 2$ を乗じて140。
- $F(0,1) = 20$：水平方向の高周波成分、左右のピクセル差を反映。
- $F(1,0) = 40$：垂直方向の高周波成分、上下のピクセル差を反映。
- $F(1,1) = 0$：対角方向の高周波成分、ゼロであるため対角テクスチャが存在しないことを示す。
**重要な観察**：$F(1,1) = 0$、すなわち対角方向の高周波基底への射影がゼロである——この成分は完全に切り捨てても情報が失われない。これがJPEG圧縮の核心原理である：自然画像の大部分の高周波DCT係数はゼロに近く、量子化後にゼロになるため、大幅な圧縮が実現できる。
```
### 9.4 工学と最先端応用 (Engineering and Cutting-Edge Applications)
JPEG圧縮の流れは以下の通り:
1. **ブロック分割**：画像を $8 \times 8$ のブロックに分割する；
2. **DCT変換**：各ブロックに対して二次元DCTを実行し、64個の周波数領域係数を得る；
3. **量子化**：量子化行列でDCT係数を除算し（高周波ほど量子化ステップが大きい）、微小な係数をゼロに設定する；
4. **エントロピー符号化**：量子化後の係数に対してハフマン符号化または算術符号化を施す。
復号側では、逆DCT変換によって画像ブロックを再構成する。人間の目に敏感でない高周波成分を切り捨てることで、JPEGは視覚品質を維持しつつ画像を元のサイズの $1/10$ 以下に圧縮できる。
DCTはさらに、ビデオ圧縮（MPEG、H.264/AVC、HEVC）、音声圧縮（MP3におけるMDCT変種）、および信号処理における無相関化と特徴抽出に広く応用されている。
---
## 第10章 ウェーブレット変換 — マルチレゾリューション内積 (Chapter 10 Wavelet Transform — Multi-Resolution Inner Product)
### 10.1 理論と厳密な定義 (Theory and Rigorous Definitions)
フーリエ変換は信号を無限に広がる正弦波基底に射影し、大域的な周波数情報を得るが、時間定位能力を失う——スペクトルから特定の周波数成分がいつ現れたかを知ることはできない。音楽、地震波、心電図信号などの非定常信号にとって、この「時間盲点」は根本的な欠陥である。
```ad-definition
title: 定義 10.1 短時間フーリエ変換 (Definition 10.1 Short-Time Fourier Transform)
時間定位の欠如を補うため、短時間フーリエ変換(STFT: Short-Time Fourier Transform)は窓関数 $w(t)$ を導入する:
$$\text{STFT}\{f(t)\}(\tau, \omega) = \int_{-\infty}^{\infty} f(t) w(t - \tau) e^{-j\omega t}\,dt$$
しかしSTFTの窓長を固定すると、時間分解能 $\Delta t$ と周波数分解能 $\Delta f$ はハイゼンベルクの不確定性原理(Heisenberg Uncertainty Principle)の制約を受ける$^{[16]}$:
$$\Delta t \cdot \Delta f \geq \frac{1}{4\pi} \tag{10.1}$$
```
```ad-definition
title: 定義 10.2 ウェーブレット変換 (Definition 10.2 Wavelet Transform)
ウェーブレット変換は、伸縮・平行移動可能な基底関数 $\psi_{a,b}(t)$ を用いることで、時周波数分解能の矛盾を根本的に解決する$^{[17]}$。$\psi(t)$ をマザーウェーブレット(Mother Wavelet)とし、$\int \psi(t)\,dt = 0$（ゼロ平均条件）を満たすものとする。ウェーブレット基底関数族は次のように定義される:
$$\psi_{a,b}(t) = \frac{1}{\sqrt{|a|}} \psi\left(\frac{t - b}{a}\right), \quad a \neq 0, \; b \in \mathbb{R} \tag{10.2}$$
ここで $a$ はスケールパラメータ（伸縮を制御、周波数に対応）、$b$ は平行移動パラメータ（位置を制御、時間に対応）である。ウェーブレット基底関数は時間領域において**コンパクトサポート(Compact Support)** の性質を持つ——有限区間内でのみ非ゼロ——したがって自然に時間定位能力を備える。
```
```ad-definition
title: 定義 10.3 連続ウェーブレット変換 (Definition 10.3 Continuous Wavelet Transform)
信号 $f(t)$ の連続ウェーブレット変換(CWT: Continuous Wavelet Transform)は、$f$ とウェーブレット基底関数の内積として定義される:
$$W_f(a, b) = \langle f, \psi_{a,b} \rangle = \int_{-\infty}^{\infty} f(t) \cdot \frac{1}{\sqrt{|a|}} \psi^*\left(\frac{t - b}{a}\right) dt \tag{10.3}$$
```
```ad-theorem
title: 命題 10.1 マルチレゾリューション解析 (Proposition 10.1 Multi-Resolution Analysis)
ウェーブレット変換の時周波数分解能はスケール $a$ に応じて適応的に変化する:
- **小スケール $a$**（高周波）：ウェーブレットは圧縮され、時間分解能が高く周波数分解能が低い。過渡信号の解析に適する；
- **大スケール $a$**（低周波）：ウェーブレットは伸長され、周波数分解能が高く時間分解能が低い。長期的なトレンドの解析に適する。
この**マルチレゾリューション解析(MRA: Multi-Resolution Analysis)** 特性は、ウェーブレット変換をフーリエ変換やSTFTから区別する中核的な利点である。
```
### 10.2 幾何と空間イメージ (Geometry and Spatial Intuition)
ウェーブレット変換の幾何学的プロセスは、異なるサイズの「プローブ」を時間軸に沿って滑動させることとして理解できる:
- **大きなプローブ（大スケール $a$）**：広い時間範囲をカバーし、信号の長期的なトレンド（低周波）を感知するが、変化時刻を正確に特定できない；
- **小さなプローブ（小スケール $a$）**：狭い時間範囲をカバーし、信号の急変点（高周波）を正確に特定するが、全体的なトレンドは見えない。
各位置 $b$ において、信号 $f(t)$ とプローブ $\psi_{a,b}(t)$ の内積 $W_f(a, b)$ を計算する。結果は**スカログラム(Scalogram)** と呼ばれる図を構成し、横軸が時間 $b$、縦軸がスケール $a$（または等価周波数）、色の濃淡が内積強度を表す。
フーリエ変換との対比：フーリエ変換は無限に長い正弦波で信号全体を「マッチング」し、大域的なスペクトルを得る；ウェーブレット変換は有限長のウェーブレットで信号を「スキャン」し、各位置での局所的なマッチング度を記録することで、時間情報と周波数情報を同時に保持する。
### 10.3 硬核例題詳解 (Worked Example)
```ad-example
title: 例題 10.1 Haar ウェーブレット分解 — 一段目と二段目のウェーブレット変換の手計算 (Example 10.1 Haar Wavelet Decomposition — Manual Calculation of Level-1 and Level-2 Wavelet Transforms)
Haar ウェーブレットは最も単純な直交ウェーブレットであり、そのスケール関数 $\phi(t)$ とウェーブレット関数 $\psi(t)$ は次のように定義される:
$$\phi(t) = \begin{cases} 1, & 0 \leq t < 1 \\ 0, & \text{otherwise} \end{cases}, \quad \psi(t) = \begin{cases} 1, & 0 \leq t < 0.5 \\ -1, & 0.5 \leq t < 1 \\ 0, & \text{otherwise} \end{cases}$$ 長さ8の離散信号が与えられたとする: $$x = [4, 6, 10, 12, 8, 6, 5, 5]$$ Haar ウェーブレット分解を手計算で実行せよ。 **解**： **ステップ 1：一段分解——近似係数の計算。** 近似係数はスケール関数との内積によって得られる。すなわち隣接二点の平均値: $$a_1 = \frac{4+6}{2} = 5, \quad a_2 = \frac{10+12}{2} = 11, \quad a_3 = \frac{8+6}{2} = 7, \quad a_4 = \frac{5+5}{2} = 5$$ 近似係数ベクトル: $A^{(1)} = [5, 11, 7, 5]$ **ステップ 2：一段分解——詳細係数の計算。** 詳細係数はウェーブレット関数との内積によって得られる。すなわち隣接二点の差の半分: $$d_1 = \frac{4-6}{2} = -1, \quad d_2 = \frac{10-12}{2} = -1, \quad d_3 = \frac{8-6}{2} = 1, \quad d_4 = \frac{5-5}{2} = 0$$ 詳細係数ベクトル: $D^{(1)} = [-1, -1, 1, 0]$ **ステップ 3：再構成の検証。** $A^{(1)}$ と $D^{(1)}$ から元の信号を完全に復元できる: $$x_1 = a_1 + d_1 = 5 + (-1) = 4, \quad x_2 = a_1 - d_1 = 5 - (-1) = 6$$ $$x_3 = a_2 + d_2 = 11 + (-1) = 10, \quad x_4 = a_2 - d_2 = 11 - (-1) = 12$$ $$x_5 = a_3 + d_3 = 7 + 1 = 8, \quad x_6 = a_3 - d_3 = 7 - 1 = 6$$ $$x_7 = a_4 + d_4 = 5 + 0 = 5, \quad x_8 = a_4 - d_4 = 5 - 0 = 5$$ 再構成は完全に正しい。 **ステップ 4：二段分解。** 近似係数 $A^{(1)} = [5, 11, 7, 5]$ に対してさらに Haar ウェーブレット変換を施す: $$a_1^{(2)} = \frac{5+11}{2} = 8, \quad a_2^{(2)} = \frac{7+5}{2} = 6$$ $$d_1^{(2)} = \frac{5-11}{2} = -3, \quad d_2^{(2)} = \frac{7-5}{2} = 1$$ 二段近似: $A^{(2)} = [8, 6]$、二段詳細: $D^{(2)} = [-3, 1]$ **重要な観察**：元の信号は8個の数値で保存される。一段分解後、$A^{(1)}$（4値）+ $D^{(1)}$（4値）= 8値であり、圧縮はされていない。しかし、絶対値の小さい詳細係数（$d_4 = 0$ など）をゼロに設定すれば、7個の有効値のみで保存できる——これがウェーブレット圧縮の原理である。JPEG2000 はまさにウェーブレット変換（CDF 9/7 ウェーブレット）に基づいており、JPEG（DCT）よりも優れた圧縮性能を実現し、ブロック歪みも発生しない。 ``` ### 10.4 工学と最先端応用 (Engineering and Cutting-Edge Applications) ウェーブレット解析は信号処理分野で幅広く応用されている: - **JPEG2000 画像圧縮**：CDF 9/7 ウェーブレットを用いた多段分解により、JPEGのDCT方式よりも圧縮率が高く、ブロック歪みもない； - **心電図(ECG)解析**：ウェーブレット変換はQRS波群 を正確に特定し、不整脈検出に用いられる； - **地震信号処理**：ウェーブレット時スペクトルは地震波の到達時間と周波数成分を同時に明らかにする； - **深層学習におけるウェーブレットネットワーク**：ウェーブレット変換をニューラルネットワークの前置特徴抽出層として用い、非定常信号を処理する。 --- ## 第11章 自己注意メカニズム — AIの内積エンジン (Chapter 11 Self-Attention Mechanism — AI's Inner Product Engine) ### 11.1 理論と厳密な定義 (Theory and Rigorous Definitions) 現代の人工知能、特にGPT、BERTなどの大規模言語モデル(LLM: Large Language Model)の基盤計算は、ほぼすべて内積（ドット積）によって構成されている。Transformerアーキテクチャの中核——**自己注意メカニズム(Self-Attention Mechanism)**——は、本質的に大規模で並列的な、学習可能なベクトル内積演算の集合である$^{[18]}$。 ```ad-definition title: 定義 11.1 スケーリングドット積注意 (Definition 11.1 Scaled Dot-Product Attention) 入力系列が与えられたとき、各位置のトークンは三つのベクトルに線形射影される：クエリベクトル $Q$、キーベクトル $K$、バリューベクトル $V$。自己注意の出力は次のように定義される: $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V \tag{11.1}$$ ここで $Q \in \mathbb{R}^{n \times d_k}$、$K \in \mathbb{R}^{n \times d_k}$、$V \in \mathbb{R}^{n \times d_v}$、$n$ は系列長、$d_k$ はクエリ/キーの次元である。 ``` ```ad-theorem title: 命題 11.1 正規化内積としての注意重み (Proposition 11.1 Attention Weights as Normalized Inner Products) 行列 $QK^T$ の第 $(i, j)$ 要素は、第 $i$ クエリベクトルと第 $j$ キーベクトルの内積そのものである: $$(QK^T)_{ij} = \langle Q_i, K_j \rangle = Q_i \cdot K_j = \sum_{k=1}^{d_k} Q_{i,k} \cdot K_{j,k} \tag{11.2}$$ この内積値が大きいほど、第 $i$ トークンと第 $j$ トークンの関連性が高いことを示す。スケーリング因子 $1/\sqrt{d_k}$ は、内積値が次元の増加に伴って過大になるのを防ぎ、softmaxの勾配消失を回避する。Softmaxによる正規化後、内積値は確率重みに変換され、バリューベクトル $V$ の重み付き和に用いられる。 **マルチヘッド注意(Multi-Head Attention)** は上記のプロセスを $h$ 回（$h$ は注意ヘッド数）並列実行し、各ヘッドが異なる射影部分空間を学習する: $$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h) W^O \tag{11.3}$$ ここで $\text{head}_i = \text{Attention}(Q W_i^Q, K W_i^K, V W_i^V)$ である。 ``` ### 11.2 幾何と空間イメージ (Geometry and Spatial Intuition) 自己注意メカニズムは高次元空間において精巧な「射影-検索」操作を実行する: 1. **クエリベクトル $Q_i$**：「誰が私と関連しているか？」という問い合わせ意図を符号化； 2. **キーベクトル $K_j$**：「私は誰か、どんな特徴を持っているか？」という識別情報を符号化； 3. **内積 $\langle Q_i, K_j \rangle$**：クエリとキーの高次元空間における類似度（ベクトル間のコサイン角のスケーリング版）を測定； 4. **Softmax正規化**：類似度を確率分布に変換し、モデルを最も関連性の高いトークンに集中させる； 5. **重み付き和**：注意重みに従ってバリューベクトルから文脈情報を抽出する。 Transformerモデル全体は、巨大な**微分可能内積エンジン(Differentiable Inner Product Engine)** と見なせる：各層で内積演算を実行し、逆伝播によって $Q$、$K$、$V$ の射影行列を継続的に調整し、内積結果がデータ中の長距離依存関係を正確に捕捉できるようにする。 ### 11.3 硬核例題詳解 (Worked Example) ```ad-example title: 例題 11.1 2トークンの自己注意の手計算 (Example 11.1 Manual Calculation of Self-Attention for 2 Tokens) 極めて単純な系列を考える。二つのトークン「私」と「愛」のみを含む。埋め込みと線形射影後（$d_k = 3$ とする）: $$Q = \begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \end{bmatrix}, \quad K = \begin{bmatrix} 1 & 1 & 0 \\ 0 & 1 & 1 \end{bmatrix}, \quad V = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}$$ 第一行が「私」、第二行が「愛」に対応する。 **解**： **ステップ 1：$QK^T$（すべての内積対）を計算する。** $$QK^T = \begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 0 & 1 \end{bmatrix}$$ 要素ごとに計算: - $(QK^T)_{11} = \langle Q_1, K_1 \rangle = 1 \times 1 + 0 \times 1 + 1 \times 0 = 1$ - $(QK^T)_{12} = \langle Q_1, K_2 \rangle = 1 \times 0 + 0 \times 1 + 1 \times 1 = 1$ - $(QK^T)_{21} = \langle Q_2, K_1 \rangle = 0 \times 1 + 1 \times 1 + 1 \times 0 = 1$ - $(QK^T)_{22} = \langle Q_2, K_2 \rangle = 0 \times 0 + 1 \times 1 + 1 \times 1 = 2$ $$QK^T = \begin{bmatrix} 1 & 1 \\ 1 & 2 \end{bmatrix}$$ **ステップ 2：スケーリング（$\sqrt{d_k} = \sqrt{3} \approx 1.732$ で除算）。** $$\frac{QK^T}{\sqrt{3}} = \begin{bmatrix} 0.577 & 0.577 \\ 0.577 & 1.155 \end{bmatrix}$$ **ステップ 3：Softmax正規化（行ごと）。** 第一行 $[0.577, 0.577]$: $$e^{0.577} \approx 1.781, \quad \text{sum} = 3.562$$ $$\text{softmax}_{11} = \frac{1.781}{3.562} = 0.5, \quad \text{softmax}_{12} = \frac{1.781}{3.562} = 0.5$$ 第二行 $[0.577, 1.155]$: $$e^{0.577} \approx 1.781, \quad e^{1.155} \approx 3.174, \quad \text{sum} = 4.955$$ $$\text{softmax}_{21} = \frac{1.781}{4.955} = 0.359, \quad \text{softmax}_{22} = \frac{3.174}{4.955} = 0.641$$ 注意重み行列: $$\text{Weights} = \begin{bmatrix} 0.5 & 0.5 \\ 0.359 & 0.641 \end{bmatrix}$$ **ステップ 4：重み付き和により出力を得る。** $$\text{Output} = \text{Weights} \cdot V = \begin{bmatrix} 0.5 & 0.5 \\ 0.359 & 0.641 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}$$ - 「私」の新しい表現: $0.5 \times [1, 0] + 0.5 \times [0, 1] = [0.5, 0.5]$ - 「愛」の新しい表現: $0.359 \times [1, 0] + 0.641 \times [0, 1] = [0.359, 0.641]$ **重要な観察**： - 「私」の注意は二つのトークンに均等に分布している（各0.5）。両者との内積が同じだからである； - 「愛」は「私」（0.359）よりも自分自身（0.641）に注目している。自分自身との内積（2）が「私」との内積（1）より大きいためである； - 出力ベクトルはバリューベクトルの重み付き結合であり、重みは完全に内積によって決定される——これが「内積を通じた文脈認識表現」の中核メカニズムである。 ``` ### 11.4 工学と最先端応用 (Engineering and Cutting-Edge Applications) 自己注意メカニズムの計算量は系列長 $n$ に対して $O(n^2)$ で増加する。GPT-4などの大規模モデル（コンテキスト長は最大128K）では、単一の順伝播に数十兆回の内積演算が必要となる。計算を高速化するため、業界では様々な最適化技術が開発されている: - **Flash Attention**：ブロック計算とメモリ最適化により、GPUメモリの読み書きを削減し、注意計算を2–4倍高速化； - **スパース注意(Sparse Attention)**：一部のトークン対間の内積のみを計算し（例：局所窓 + 大域トークン）、計算量を $O(n \log n)$ に削減； - **マルチクエリ注意(MQA: Multi-Query Attention)**：複数のクエリヘッドが同一のキー値ペアを共有し、KVキャッシュサイズを削減； - **線形注意(Linear Attention)**：カーネル法でsoftmax注意を近似し、計算量を $O(n)$ に削減。 これらの最適化は本質的に、「内積計算回数の削減」と「モデルの表現力維持」の間で最適なバランスを探るものである。 --- ## 第12章 カーネル法 — 暗黙的高次元内積 (Chapter 12 Kernel Method — Implicit High-Dimensional Inner Product) ### 12.1 理論と厳密な定義 (Theory and Rigorous Definitions) 低次元空間では、データはしばしば線形分離不可能である——例えば二次元平面上の同心円データは一本の直線では分離できない。従来の手法では手動で高次元特徴を構築する（例：$x_1^2 + x_2^2$）が、特徴エンジニアリングのコストは極めて高い。**カーネル法(Kernel Method)** の核心的な考え方は：高次元空間中の座標を明示的に計算せず、高次元空間中の内積を直接計算することである$^{[22]}$。この技法を**カーネルトリック(Kernel Trick)** という。 ```ad-definition title: 定義 12.1 カーネル関数 (Definition 12.1 Kernel Function) $\phi: \mathcal{X} \to \mathcal{H}$ を入力空間から高次元（場合によっては無限次元）ヒルベルト空間への非線形写像とする。カーネル関数 $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ は次のように定義される: $$k(x, y) = \langle \phi(x), \phi(y) \rangle_{\mathcal{H}} \tag{12.1}$$ カーネル関数の精妙な点は：$\phi$ の具体的な形式を知る必要がなく、$k(x, y)$ が**Mercer条件**（対称かつ半正定値）を満たせば、それが何らかの再生核ヒルベルト空間(RKHS: Reproducing Kernel Hilbert Space)における内積に対応することである。 ``` ```ad-definition title: 定義 12.2 一般的なカーネル関数 (Definition 12.2 Common Kernel Functions) よく用いられるカーネル関数には以下がある: - **線形カーネル(Linear Kernel)**：$k(x, y) = x^T y$（元の空間における内積）； - **多項式カーネル(Polynomial Kernel)**：$k(x, y) = (x^T y + c)^d$（$d$ 次多項式特徴空間に対応）； - **ガウス動径基底カーネル(RBF Kernel)**：$k(x, y) = \exp\left(-\frac{\|x - y\|^2}{2\sigma^2}\right)$（無限次元特徴空間に対応）； - **シグモイドカーネル(Sigmoid Kernel)**：$k(x, y) = \tanh(\alpha x^T y + c)$。 ``` ```ad-definition title: 定義 12.3 サポートベクターマシン (Definition 12.3 Support Vector Machine) サポートベクターマシン(SVM: Support Vector Machine)はカーネル法の最も古典的な応用である$^{[23]}$。SVMは特徴空間において最大マージン超平面を探し、その決定関数はサポートベクトルと分類対象サンプルの内積のみに依存する: $$f(x) = \text{sign}\left(\sum_{i=1}^{m} \alpha_i y_i \langle \phi(x_i), \phi(x) \rangle + b\right) = \text{sign}\left(\sum_{i=1}^{m} \alpha_i y_i k(x_i, x) + b\right) \tag{12.2}$$ ここで $x_i$ はサポートベクトル、$y_i \in \{-1, +1\}$ はラベル、$\alpha_i$ は双対変数である。 ``` ### 12.2 幾何と空間イメージ (Geometry and Spatial Intuition) カーネルトリックの幾何学的直観は「折り畳み-展開」として理解できる: 1. **入力空間**：データ点は低次元空間に乱雑に分布し、線形分類器は役に立たない； 2. **暗黙的写像 $\phi$**：データ点を高次元ヒルベルト空間に「展開」し、もつれ合っていたデータ点が「引き伸ばされる」； 3. **高次元空間における内積**：SVMは高次元空間で最大マージン超平面を探索する——これは入力空間における非線形決定境界と等価である； 4. **カーネル関数 $k(x, y)$**：データが高次元空間に写像されたかのように、高次元空間中の内積値を直接返すが、計算量は低次元空間と同じである。 **重要な洞察**：RBFカーネル $\exp(-\gamma\|x - y\|^2)$ のテイラー展開はすべての次数の多項式特徴を含むため、RBFカーネルSVMは理論上、任意の複雑な決定境界を近似できる。 ### 12.3 硬核例題詳解 (Worked Example) ```ad-example title: 例題 12.1 二次元XOR問題のカーネルトリック — 手計算による導出 (Example 12.1 Kernel Trick for 2D XOR Problem — Manual Derivation) XORデータセット：$x_1 = (-1, -1)$ ラベル $-1$、$x_2 = (1, 1)$ ラベル $-1$、$x_3 = (-1, 1)$ ラベル $+1$、$x_4 = (1, -1)$ ラベル $+1$。二次元空間では、XORデータは線形分離不可能である。 **解**： **ステップ 1：カーネル関数を選択し、暗黙的写像を見つける。** 多項式カーネル $k(x, y) = (x^T y)^2$ を取る。展開: $$(x^T y)^2 = (x_1 y_1 + x_2 y_2)^2 = x_1^2 y_1^2 + 2x_1 x_2 y_1 y_2 + x_2^2 y_2^2$$ $$= \langle (x_1^2, \sqrt{2}x_1 x_2, x_2^2), (y_1^2, \sqrt{2}y_1 y_2, y_2^2) \rangle$$ したがって暗黙的写像は $\phi(x) = (x_1^2, \sqrt{2}x_1 x_2, x_2^2)$ であり、二次元データを三次元空間に写像する。 **ステップ 2：データ点の三次元空間における座標を計算する。** $$\phi(x_1) = \phi(-1, -1) = (1, \sqrt{2}, 1), \quad \phi(x_2) = \phi(1, 1) = (1, \sqrt{2}, 1)$$ $$\phi(x_3) = \phi(-1, 1) = (1, -\sqrt{2}, 1), \quad \phi(x_4) = \phi(1, -1) = (1, -\sqrt{2}, 1)$$ **ステップ 3：線形分離可能性を検証する。** 三次元空間において、$x_1, x_2$（ラベル $-1$）はともに $(1, \sqrt{2}, 1)$ に位置し、$x_3, x_4$（ラベル $+1$）はともに $(1, -\sqrt{2}, 1)$ に位置する。二つのクラスは平面 $z_2 = 0$（すなわち $\sqrt{2}x_1 x_2 = 0$）によって完全に分離できる！ **ステップ 4：カーネルトリックを検証する。** $k(x_1, x_3) = (x_1^T x_3)^2$ を計算: $$x_1^T x_3 = (-1)(-1) + (-1)(1) = 0, \quad k(x_1, x_3) = 0^2 = 0$$ 三次元空間において: $\langle \phi(x_1), \phi(x_3) \rangle = 1 \times 1 + \sqrt{2} \times (-\sqrt{2}) + 1 \times 1 = 0$ 両者は等しく、カーネルトリックの正しさが検証された。 **ステップ 5：SVM決定。** 三次元空間において、最大マージン超平面は $z_2 = 0$、法線ベクトル $w = (0, 1, 0)$、バイアス $b = 0$ である。サポートベクトルは全四点、$\alpha_i = 1$。 テスト点 $x = (0.5, -0.5)$ について: $$k(x_1, x) = ((-1)(0.5) + (-1)(-0.5))^2 = 0, \quad k(x_2, x) = ((1)(0.5) + (1)(-0.5))^2 = 0$$ $$k(x_3, x) = ((-1)(0.5) + (1)(-0.5))^2 = 1, \quad k(x_4, x) = ((1)(0.5) + (-1)(-0.5))^2 = 1$$ $$f(x) = \text{sign}(-0 - 0 + 1 + 1) = \text{sign}(2) = +1$$ $+1$ と予測され、正しい。 **重要な観察**：我々は $\phi(x)$ を明示的に計算したことは一度もなく、カーネル関数 $k(x, y) = (x^T y)^2$ を通じて高次元空間中の内積を直接得た——低次元の計算量で高次元の分類能力を実現している。 ``` ### 12.4 工学と最先端応用 (Engineering and Cutting-Edge Applications) カーネル法の応用はSVMにとどまらない: - **カーネル主成分分析(Kernel PCA)**：カーネル写像後の高次元空間でPCAを行い、非線形次元削減を実現； - **カーネルリッジ回帰(Kernel Ridge Regression)**：線形リッジ回帰を非線形回帰に一般化； - **カーネル平均マッチング(Kernel Mean Matching)**：ドメイン適応と転移学習に用いられる； - **ガウス過程(Gaussian Process)**：カーネル関数を共分散関数として用い、ベイズ最適化と回帰に応用； - **神経正接カーネル(NTK: Neural Tangent Kernel)**：無限幅ニューラルネットワークとカーネル法を結びつけ、深層学習に理論的分析ツールを提供。 --- ## 第13章 量子力学における内積 — 確率即射影 (Chapter 13 Inner Products in Quantum Mechanics — Probability Is Projection) ### 13.1 理論と厳密な定義 (Theory and Rigorous Definitions) 量子力学は内積の概念を物理世界の究極のレベルへと押し上げる。量子力学において、システムの状態はヒルベルト空間 $\mathcal{H}$ 上の**状態ベクトル(State Vector)** $|\psi\rangle$ によって記述される（ディラック記法）$^{[26]}$。ここでのヒルベルト空間は通常、無限次元の複素内積空間である。 ```ad-definition title: 定義 13.1 状態ベクトルと内積 (Definition 13.1 State Vector and Inner Product) 状態ベクトル $|\psi\rangle \in \mathcal{H}$ は量子システムのすべての情報を含む。二つの状態の内積 $\langle \phi | \psi \rangle$ は複素数であり、その絶対値の二乗が測定確率を与える。 **公理 13.1（ボルン則(Born Rule)）** システムが状態 $|\psi\rangle$ にあるとき、可観測量 $\hat{A}$ を測定して固有値 $\lambda_n$ を得る確率は$^{[21]}$: $$P(\lambda_n) = |\langle a_n | \psi \rangle|^2 \tag{13.1}$$ ここで $|a_n\rangle$ は $\hat{A}$ の $\lambda_n$ に対応する固有状態である。測定後、システムの状態は $|a_n\rangle$ に収縮する。ボルン則の本質は：**確率は測定基底における状態ベクトルの射影の絶対値二乗に等しい**。 ``` ```ad-definition title: 定義 13.2 可観測量と自己共役演算子 (Definition 13.2 Observables and Self-Adjoint Operators) 可観測量はヒルベルト空間上の自己共役演算子(Hermitian Operator) $\hat{A}$ に対応し、$\hat{A}^\dagger = \hat{A}$ を満たす。自己共役演算子の固有値は実数であり、固有状態は完備な直交基底を構成する。 ``` ```ad-definition title: 定義 13.3 シュレーディンガー方程式 (Definition 13.3 Schrodinger Equation) 状態ベクトルの時間発展はシュレーディンガー方程式によって記述される: $$i\hbar \frac{d}{dt} |\psi(t)\rangle = \hat{H} |\psi(t)\rangle \tag{13.2}$$ ここで $\hat{H}$ はハミルトニアン演算子（エネルギー演算子）である。この方程式は本質的に、無限次元ヒルベルト空間におけるユニタリ発展方程式——内積を保存する回転——である。 ``` ### 13.2 幾何と空間イメージ (Geometry and Spatial Intuition) 量子力学の幾何学的イメージは古典的な内積空間と深い関連を持つ: 1. **状態ベクトルは単位ベクトルである**：物理的には $|\psi\rangle$ の正規化が要求され、すなわち $\langle \psi | \psi \rangle = 1$。すべての可能な状態ベクトルは複素ヒルベルト空間中の単位球面を構成する。 2. **測定は直交射影である**：測定操作は状態ベクトル $|\psi\rangle$ を固有部分空間に射影する。射影長 $|\langle a_n | \psi \rangle|$ が確率振幅を決定し、その二乗が測定確率となる。 3. **直交状態は互いに排他的である**：$\langle \phi | \psi \rangle = 0$ ならば、二つの状態は直交（互いに排他的）——システムが $|\psi\rangle$ にあるとき、$|\phi\rangle$ が測定される確率はゼロである。 4. **絡み合い状態は分離不可能である**：複合システムにおいて、$|\psi\rangle_{AB} \neq |\phi\rangle_A \otimes |\chi\rangle_B$ ならば、二つの部分システムは絡み合い状態にある。絡み合い状態の数学的本質は、二つの部分システムの内積構造が直積形式に分解できないことである。 ### 13.3 硬核例題詳解 (Worked Example) ```ad-example title: 例題 13.1 スピン $1/2$ システムの測定確率 — 内積計算 (Example 13.1 Measurement Probability for a Spin $1/2$ System — Inner Product Calculation) 電子スピンを考える。その状態は二次元複素ヒルベルト空間中のベクトルとして表現できる。スピン $z$ 方向の固有状態: $$| \uparrow_z \rangle = \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \quad | \downarrow_z \rangle = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$$ スピン $x$ 方向の固有状態: $$| \uparrow_x \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix}, \quad | \downarrow_x \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ -1 \end{pmatrix}$$ 電子は状態 $|\psi\rangle = \frac{1}{\sqrt{2}}| \uparrow_z \rangle + \frac{1}{\sqrt{2}}| \downarrow_z \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix}$ にある。 **解**： **ステップ 1：正規化の検証。** $$\langle \psi | \psi \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \end{pmatrix} \cdot \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} = \frac{1}{2}(1 + 1) = 1$$ 正規化が成立する。 **ステップ 2：$S_z$ の測定確率。** $$P(\uparrow_z) = |\langle \uparrow_z | \psi \rangle|^2 = \left| \begin{pmatrix} 1 & 0 \end{pmatrix} \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{\sqrt{2}} \right|^2 = \frac{1}{2}$$ $$P(\downarrow_z) = |\langle \downarrow_z | \psi \rangle|^2 = \left| \begin{pmatrix} 0 & 1 \end{pmatrix} \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{\sqrt{2}} \right|^2 = \frac{1}{2}$$ 各50%であり、期待通りである。 **ステップ 3：$S_x$ の測定確率。** $$P(\uparrow_x) = |\langle \uparrow_x | \psi \rangle|^2 = \left| \frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \end{pmatrix} \cdot \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{2}(1 + 1) \right|^2 = 1$$ $$P(\downarrow_x) = |\langle \downarrow_x | \psi \rangle|^2 = \left| \frac{1}{\sqrt{2}}\begin{pmatrix} 1 & -1 \end{pmatrix} \cdot \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{2}(1 - 1) \right|^2 = 0$$ **重要な観察**：$|\psi\rangle = | \uparrow_x \rangle$ であるため、$S_x$ を測定すると100%の確率で $+\hbar/2$ を得る。これは内積の幾何学的意味を検証する：状態ベクトルが完全に一致するとき（内積の絶対値が1）、確率は100%；直交するとき（内積が0）、確率は0である。 **ステップ 4：測定後の状態収縮。** $S_z$ を測定して $+\hbar/2$ を得たと仮定すると、状態ベクトルは収縮する: $$|\psi\rangle = \frac{1}{\sqrt{2}}| \uparrow_z \rangle + \frac{1}{\sqrt{2}}| \downarrow_z \rangle \xrightarrow{\text{測定 } S_z = +\hbar/2} |\psi'\rangle = | \uparrow_z \rangle$$ このとき再度 $S_z$ を測定すると100% $+\hbar/2$ を得るが、$S_x$ を測定すると再び50/50の確率に戻る。これが「測定が状態を変える」という本質——直交射影操作——である。 ``` ### 13.4 工学と最先端応用 (Engineering and Cutting-Edge Applications) 量子内積の概念は革命的な技術を生み出しつつある: - **量子計算(Quantum Computing)**：量子ゲート操作は本質的にヒルベルト空間におけるユニタリ変換（内積を保存する回転）である。ShorアルゴリズムとGroverアルゴリズムは量子状態の重ね合わせと干渉（内積の位相）を利用して指数関数的な高速化を実現する； - **量子暗号(Quantum Cryptography)**：BB84プロトコルは測定基底の直交性を利用して盗聴を検出する——盗聴者の測定は状態ベクトルを収縮させ、内積結果を変化させるため、正当な通信者が発見できる； - **量子テレポーテーション(Quantum Teleportation)**：Bell状態（最大絡み合い状態）の内積構造を利用して量子情報の遠隔転送を実現する； - **量子機械学習(Quantum Machine Learning)**：量子カーネル法は量子状態の内積を利用して高次元ヒルベルト空間で効率的にカーネル関数を計算し、量子優位性の実現が期待される。 --- ## 終章 大統一知識グラフと哲学的昇華 (Final Chapter Grand Unified Knowledge Graph and Philosophical Sublimation) ### 万物は射影である——全学問を貫く内積のグラフ (Everything Is a Projection — An Inner Product Map Across All Disciplines) 本論文で構築した知識体系を振り返ると、二次元ベクトルのドット積から無限次元複素ヒルベルト空間の状態ベクトル内積に至るまで、内積の概念は数学、物理学、工学、コンピュータ科学のあらゆる隅々を貫いている。 **核心的主線**：内積 $\langle \cdot, \cdot \rangle$ は**類似度尺度(Similarity Measure)** である。対象がベクトル、関数、信号、画像、量子状態のいずれであっても、内積は同じ問いに答える——「この二つの対象はどの程度似ているか？」 **大統一知識グラフ(Grand Unified Knowledge Graph)**: | 分野 | 内積の具体的な形式 | 幾何学的解釈 | 中核的応用 | |------|--------------|---------|---------| | 線形代数 | $\langle x, y \rangle = x^T y$ | 射影長 | 直交分解、最小二乗 | | 関数解析 | $\langle f, g \rangle = \int fg$ | 波形類似度 | フーリエ級数、ウェーブレット変換 | | 信号処理 | $\langle x, h \rangle = \sum x[n]h[n]$ | マッチドフィルタ | 畳み込み、相関検出 | | 確率統計 | $\text{Cov}(X,Y) = E[(X-\mu_X)(Y-\mu_Y)]$ | 相関方向 | PCA、回帰分析 | | 機械学習 | $\langle Q_i, K_j \rangle$ | 注意重み | Transformer、自己注意 | | 画像処理 | $\langle I, K \rangle$ | 特徴応答 | 畳み込みニューラルネットワーク、エッジ検出 | | 量子力学 | $\langle \phi \mid \psi \rangle$ | 確率振幅 | 測定、量子計算 | | 制御理論 | $\langle f, e^{-st} \rangle$ | 複素周波 数領域射影 | ラプラス変換、安定性解析 | ### 哲学的昇華——射影即認知 (Philosophical Sublimation — Projection Is Cognition) 哲学のレベルから見ると、「万物は射影である」は数学的命題であるだけでなく、世界を認識する一つの方法でもある$^{[22]}$: 1. **認知即射影**：人間が世界を認識するプロセスは、本質的に外部世界の複雑な情報を有限の認知基底関数に射影することである。我々が見ているのは「現実世界そのもの」ではなく、認知基底上での現実世界の射影係数である。 2. **直交即独立**：二つの概念が直交するとき、それらは互いに干渉せず、重なり合わないことを意味する。直交分解は複雑な問題を単純化する究極の武器である——複雑なシステムを互いに相関のない独立したモジュールに分解する。 3. **射影即決定**：最小二乗法は、正確な解が存在しないときに射影を求めることが最適な選択であることを示している。完全な解決策が得られないとき、実行可能領域上に直交射影を行うことが最適な決定となる。 4. **基底の選択がすべてを決定する**：フーリエは正弦波を基底に選び、ウェーブレットはコンパクトサポート関数を基底に選び、Transformerは学習可能な注意基底を選ぶ——どのような基底を選ぶかが、どのような世界が見えるかを決定する。 ### 終局の思考 (Final Thoughts) 内積は単なる数学的演算ではなく、ミクロとマクロ、連続と離散、決定論と確率論を結びつける**メタ言語(Meta-Language)** である。ピタゴラスの定理から量子もつれまで、最小二乗法から大規模言語モデルまで、内積はその簡潔かつ深遠な形式によって、人類の知識体系のあらゆる領域を統一している。 --- ## 付録 本稿の図表生成コード (Appendix Code for Generating Figures in This Paper) 本稿の全五枚の図表（コサイン類似度ヒートマップ、最小二乗射影、フーリエ分解、畳み込みマッチドフィルタ、Sobelエッジ検出）は、main.py によって一元的に生成されている。このスクリプトはPythonの科学計算エコシステム（NumPy、SciPy、Matplotlib）に基づき、「内積」という核心テーマを中心に、文中の抽象的な数学概念を直感的な可視化グラフィックに変換している。
スクリプトの核心的な設計思想は以下の通り:
1. **コサイン類似度**：`cosine_similarity()` 関数により単語埋め込みベクトル間の正規化内積を計算し、$5 \times 5$ のヒートマップ行列を生成する。この関数は式 (1.5) のコサイン類似度定義を実装している。
2. **最小二乗法**：`np.linalg.lstsq` を利用して正規方程式 $A^T A \hat{x} = A^T b$（定理 3.1）を解く。本質的には観測ベクトルをモデル空間に直交射影している。
3. **フーリエ分解**：FFTにより時間領域信号を周波数基底に射影する（定理 6.1）。スペクトル内の各ピークは一つの周波数成分の内積係数に対応する。
4. **畳み込みとマッチドフィルタ**：畳み込みを滑動内積演算と見なし（定義 8.1）、テンプレートと信号を点ごとに内積してパルス位置を検出する。
5. **Sobelエッジ検出**：二次元畳み込みカーネルと画像の内積を計算し（例題 8.2）、各ピクセルにおける勾配振幅を求める。
以下はスクリプト内でコサイン類似度ヒートマップを生成する中核的なコード断片である:
def cosine_similarity(vec_a: np.ndarray, vec_b: np.ndarray) -> float:
dot_product = float(np.dot(vec_a, vec_b))
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot_product / (norm_a * norm_b)
def build_semantic_demo() -> tuple[list[str], dict[str, np.ndarray], np.ndarray]:
tokens = ["king", "queen", "man", "woman", "apple"]
embeddings = {
"king": np.array([0.92, 0.10, 0.78, 0.25, 0.60]),
"queen": np.array([0.90, 0.12, 0.80, 0.30, 0.63]),
"man": np.array([0.88, 0.18, 0.40, 0.22, 0.35]),
"woman": np.array([0.86, 0.22, 0.42, 0.28, 0.38]),
"apple": np.array([0.05, 0.95, 0.08, 0.87, 0.10]),
}
matrix = np.array(
[[cosine_similarity(embeddings[left], embeddings[right]) for right in tokens] for left in tokens]
)
return tokens, embeddings, matrix
完全なコードは main.py を参照されたい。
## 参考文献 (References)
[1] Wikipedia contributors. (2026, April 28). Dot product. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:42, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Dot_product&oldid=1351567929.
[2] Wikipedia contributors. (2025, November 3). Orthogonal complement. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:43, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Orthogonal_complement&oldid=1320174088.
[3] Wikipedia contributors. (2025, July 7). Orthogonalization. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:44, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Orthogonalization&oldid=1299273509.
[4] Wikipedia contributors. (2025, September 1). Orthogonal functions. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:46, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Orthogonal_functions&oldid=1308940353.
[5] Wikipedia contributors. (2026, March 13). Least squares. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:46, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Least_squares&oldid=1343263636.
[6] Wikipedia contributors. (2026, May 23). Hilbert space. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:47, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Hilbert_space&oldid=1355759876.
[7] 卷积、内积、互相关概念. CSDN博客, 2024. https://blog.csdn.net/qq_31073871/article/details/146475191.
[8] Wikipedia contributors. (2026, February 27). Inner product space. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:51, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Inner_product_space&oldid=1340828148.
[9] 内积和外积[G/OL]. OI Wiki, 2025. https://oi-wiki.org/math/linear-algebra/product/.
[10] 维基百科编者. 内积[G/OL]. 维基百科, 2025(20250703)[2025-07-03]. https://zh.wikipedia.org/w/index.php?title=%E5%86%85%E7%A7%AF&oldid=88045564.
[11] Wikipedia contributors. (2026, April 24). Fourier series. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:55, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Fourier_series&oldid=1350934101.
[12] Wikipedia contributors. (2026, May 20). Fourier transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:55, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Fourier_transform&oldid=1355147665.
[13] Wikipedia contributors. (2026, May 17). Cosine similarity. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:56, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Cosine_similarity&oldid=1354643579.
[14] Wikipedia contributors. (2026, May 11). Laplace transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:56, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Laplace_transform&oldid=1353668445.
[15] Wikipedia contributors. (2026, May 8). Z-transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:57, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Z-transform&oldid=1353129057.
[16] Wikipedia contributors. (2025, June 1). Frequency domain. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:57, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Frequency_domain&oldid=1293464779.
[17] Wikipedia contributors. (2026, May 20). Convolution. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:57, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Convolution&oldid=1355143781.
[18] Wikipedia contributors. (2026, April 25). Discrete cosine transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:58, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Discrete_cosine_transform&oldid=1350947997.
[19] Wikipedia contributors. (2026, May 19). JPEG. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:58, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=JPEG&oldid=1355030069.
[20] Wikipedia contributors. (2026, April 29). Wavelet. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:58, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Wavelet&oldid=1351640900.
[21] Wikipedia contributors. (2026, March 22). Word embedding. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:59, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Word_embedding&oldid=1344811356.
[22] Wikipedia contributors. (2025, November 24). Kernel method. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:00, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Kernel_method&oldid=1323912764.
[23] Wikipedia contributors. (2026, April 19). Support vector machine. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:00, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Support_vector_machine&oldid=1350010737.
[24] Wikipedia contributors. (2026, May 23). Cluster analysis. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:00, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Cluster_analysis&oldid=1355672094.
[25] Wikipedia contributors. (2026, April 8). Regression analysis. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:01, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Regression_analysis&oldid=1347668389.
[26] Wikipedia contributors. (2026, May 22). Quantum mechanics. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:01, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Quantum_mechanics&oldid=1355584024.
[27] Wikipedia contributors. (2026, May 20). Uncertainty principle. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:01, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Uncertainty_principle&oldid=1355179215.
Comments NOTHING