# 점곱에서 내적 공간까지: 선형대수학, 신호처리, AI 뒤에 숨은 동일한 언어 (From Dot Product to Inner Product Space: The Unified Language Behind Linear Algebra, Signals, and AI)
## 요약 (Abstract)
**내적(Inner Product)** 은 선형대수학, 함수해석학, 신호처리, 머신러닝, 양자역학에 걸쳐 공유되는 핵심 대수 구조이다. 본 논문은 "내적"을 유일한 주제로 삼아, 유한차원 유클리드 공간에서의 점곱(Dot Product)에서 출발하여 내적 공간 공리, 직교 분해(Orthogonal Decomposition), 최소제곱 투영(Least-Squares Projection), 힐베르트 공간(Hilbert Space), 푸리에 급수와 변환(Fourier Series and Transform), 컨볼루션(Convolution), 이산 코사인 변환(Discrete Cosine Transform), 웨이블릿 분석(Wavelet Analysis), 자기 주의 메커니즘(Self-Attention Mechanism), 커널 방법(Kernel Method), 그리고 양자역학에서의 상태 벡터 투영(State-Vector Projection)을 차례로 소개한다. 이렇게 서로 다른 학문 분야에 속하는 것으로 보이는 개념들이 수학적 구조에서 통일성을 가짐을 밝힌다: **내적 정의 → 직교 기저 수립 → 투영 분해 → 정보 추출**. 본 논문은 독자들에게 수학, 공학, 물리학을 관통하는 인지 지도(Cognitive Map)를 제공하는 것을 목표로 한다.
## 서문: 만물은 투영이다 (Preface: Everything Is a Projection)
수학과 공학 과학에는 반복적으로 나타나는 패턴이 있다: 복잡한 객체를 여러 "기본 성분"의 선형 결합으로 분해하는 것, 그리고 분해의 도구가 바로 **투영(Projection)** 이라는 점이다. 투영 연산의 본질은 내적(Inner Product)이다—"유사성(Similarity)"을 측정하는 이항 연산. 푸리에 분석에서 신호를 서로 다른 주파수의 정현파로 분해하는 것부터, 최소제곱법에서 데이터에 가장 잘 맞는 직선을 찾는 것, 양자역학에서 중첩 상태에 있는 입자를 측정하는 것까지, 이 모든 과정은 동일한 수학 언어를 공유한다: **내적 정의 → 직교 기저 수립 → 투영 → 직교 분해 → 정보 추출**.
본 논문의 목표는 이 통일된 프레임워크를 체계적으로 설명하는 것이다. 가장 친숙한 벡터 점곱(Dot Product)에서 출발하여 점차 내적 공간(Inner Product Space)과 힐베르트 공간(Hilbert Space)으로 추상화하고, 이 구조가 미적분학, 신호처리, 인공지능, 양자역학에서 어떻게 반복적으로 나타나는지 보여줄 것이다. 독자는 함수해석학(Functional Analysis) 배경지식이 필요 없으며, 기본적인 선형대수학과 미적분학 지식만 있으면 충분하다.
---
## 제1장 내적의 본체 — 유사성을 측정하는 기본 연산 (Chapter 1 The Ontology of Inner Products — The Fundamental Operation for Measuring Similarity)
### 1.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
내적(Inner Product)의 개념은 유클리드 기하학의 점곱(Dot Product)에서 기원했지만, 그 수학적 의미는 함수해석학(Functional Analysis)에서 크게 확장되었다. 본 절은 유한차원 경우에서 출발하여 점차 내적의 엄밀한 정의를 구축한다.
```ad-definition
title: 정의 1.1 점곱 (Definition 1.1 Dot Product)
$\mathbb{R}^n$을 $n$차원 실유클리드 공간이라 하자. 임의의 두 벡터 $\mathbf{a} = (a_1, a_2, \dots, a_n)$와 $\mathbf{b} = (b_1, b_2, \dots, b_n)$에 대해, 그 점곱은 대응 성분의 곱의 합으로 정의된다$^{[1]}$:
$$
\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i.
\tag{1.1}
$$
점곱은 두 벡터를 하나의 스칼라로 매핑하는 이항 연산이다. 그 기하학적 해석은 코사인 법칙(Cosine Law)에 의해 주어진다:
$$
\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta,
\tag{1.2}
$$
여기서 $\|\mathbf{a}\| = \sqrt{\langle \mathbf{a}, \mathbf{a} \rangle}$는 벡터의 유클리드 노름($L_2$ 노름)이고, $\theta$는 두 벡터 사이의 각도이다.
```
```ad-definition
title: 정의 1.2 내적 공간 (Definition 1.2 Inner Product Space)
$V$를 체 $\mathbb{F}$($\mathbb{R}$ 또는 $\mathbb{C}$) 위의 벡터 공간이라 하자. 매핑 $\langle \cdot, \cdot \rangle: V \times V \to \mathbb{F}$이 다음 세 가지 공리를 만족하면 내적(Inner Product)이라고 한다$^{[8][9]}$:
1. **켤레 대칭성(Conjugate Symmetry)**: $\langle \mathbf{u}, \mathbf{v} \rangle = \overline{\langle \mathbf{v}, \mathbf{u} \rangle}$, 여기서 윗줄은 복소켤레를 나타낸다. 실벡터 공간에서는 대칭성 $\langle \mathbf{u}, \mathbf{v} \rangle = \langle \mathbf{v}, \mathbf{u} \rangle$으로 축소된다.
2. **첫 번째 변수에 대한 선형성(Linearity in the First Argument)**: $\langle \alpha\mathbf{u} + \beta\mathbf{v}, \mathbf{w} \rangle = \alpha\langle \mathbf{u}, \mathbf{w} \rangle + \beta\langle \mathbf{v}, \mathbf{w} \rangle$, 임의의 $\alpha, \beta \in \mathbb{F}$에 대해 성립.
3. **양의 정부호성(Positive Definiteness)**: $\langle \mathbf{v}, \mathbf{v} \rangle \geq 0$, 그리고 $\langle \mathbf{v}, \mathbf{v} \rangle = 0$인 경우는 $\mathbf{v} = \mathbf{0}$일 때뿐이다.
내적에서 노름 $\|\mathbf{v}\| = \sqrt{\langle \mathbf{v}, \mathbf{v} \rangle}$이 유도되고, 이로부터 거리 $d(\mathbf{u}, \mathbf{v}) = \|\mathbf{u} - \mathbf{v}\|$가 유도된다. 따라서 내적 공간은 자연스럽게 노름 공간(Normed Space)이 되고, 더 나아가 거리 공간(Metric Space)이 된다.
```
```ad-theorem
title: 정리 1.1 코시-슈바르츠 부등식 (Theorem 1.1 Cauchy-Schwarz Inequality)
내적 공간 $V$의 임의의 두 벡터 $\mathbf{u}, \mathbf{v}$에 대해 다음이 성립한다$^{[8]}$:
$$
|\langle \mathbf{u}, \mathbf{v} \rangle| \leq \|\mathbf{u}\| \cdot \|\mathbf{v}\|.
\tag{1.3}
$$
등호는 $\mathbf{u}$와 $\mathbf{v}$가 선형 종속일 때(즉, 하나가 다른 하나의 스칼라 배수일 때) 성립한다.
```
```ad-definition
title: 정의 1.3 코사인 유사도 (Definition 1.3 Cosine Similarity)
두 비영 벡터 $\mathbf{a}, \mathbf{b} \in \mathbb{R}^n$에 대해, 코사인 유사도는 정규화된 내적으로 정의된다$^{[13]}$:
$$
\text{cosine\_similarity}(\mathbf{a}, \mathbf{b}) = \frac{\langle \mathbf{a}, \mathbf{b} \rangle}{\|\mathbf{a}\| \|\mathbf{b}\|} = \cos\theta.
\tag{1.5}
$$
코사인 유사도는 벡터 크기를 제거하고 방향의 유사성만 측정하므로, 문서 분류, 의미 검색 등에서 널리 사용된다.
```
### 1.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
내적의 기하학적 의미는 **투영(Projection)** 이다. $\langle \mathbf{a}, \mathbf{b} \rangle$는 벡터 $\mathbf{a}$를 $\mathbf{b}$ 방향으로 투영한 길이에 $\|\mathbf{b}\|$를 곱한 값이다. $\mathbf{b}$가 단위 벡터(Unit Vector)일 때, 내적은 정확히 $\mathbf{a}$의 $\mathbf{b}$ 위로의 투영 길이가 된다.
이 관점에서 코사인 유사도는 두 벡터 방향의 정렬 정도를 측정한다:
- $\cos\theta = 1$: 동일 방향, 최대 유사도;
- $\cos\theta = 0$: 직교, 유사도 0;
- $\cos\theta = -1$: 반대 방향, 최대 반유사도.
### 1.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 1.1 그람-슈미트 직교화 (Example 1.1 Gram-Schmidt Orthogonalization)
$\mathbb{R}^3$에서 세 벡터 $\mathbf{v}_1 = (1, 1, 0)$, $\mathbf{v}_2 = (1, 0, 1)$, $\mathbf{v}_3 = (0, 1, 1)$이 주어졌다. 이 벡터들로부터 그람-슈미트 과정을 사용하여 한 쌍의 직교 기저를 구성하라.
**풀이**:
**단계 1**: $\mathbf{u}_1 = \mathbf{v}_1 = (1, 1, 0)$으로 설정. $\|\mathbf{u}_1\| = \sqrt{2}$.
**단계 2**: $\mathbf{v}_2$에서 $\mathbf{u}_1$ 위로의 투영을 제거:
$$
\text{proj}_{\mathbf{u}_1}(\mathbf{v}_2) = \frac{\langle \mathbf{v}_2, \mathbf{u}_1 \rangle}{\langle \mathbf{u}_1, \mathbf{u}_1 \rangle} \mathbf{u}_1 = \frac{1}{2} (1, 1, 0) = (0.5, 0.5, 0)
$$
$$
\mathbf{u}_2 = \mathbf{v}_2 - \text{proj}_{\mathbf{u}_1}(\mathbf{v}_2) = (1, 0, 1) - (0.5, 0.5, 0) = (0.5, -0.5, 1)
$$
**단계 3**: $\mathbf{v}_3$에서 $\mathbf{u}_1$과 $\mathbf{u}_2$ 위로의 투영을 제거:
$$
\text{proj}_{\mathbf{u}_1}(\mathbf{v}_3) = \frac{0}{2} \mathbf{u}_1 = (0, 0, 0), \quad
\text{proj}_{\mathbf{u}_2}(\mathbf{v}_3) = \frac{\langle \mathbf{v}_3, \mathbf{u}_2 \rangle}{\langle \mathbf{u}_2, \mathbf{u}_2 \rangle} \mathbf{u}_2
$$
$\langle \mathbf{v}_3, \mathbf{u}_2 \rangle = 0 \times 0.5 + 1 \times (-0.5) + 1 \times 1 = 0.5$, $\langle \mathbf{u}_2, \mathbf{u}_2 \rangle = 0.25 + 0.25 + 1 = 1.5$.
$$
\text{proj}_{\mathbf{u}_2}(\mathbf{v}_3) = \frac{0.5}{1.5} (0.5, -0.5, 1) = \left(\frac{1}{6}, -\frac{1}{6}, \frac{1}{3}\right)
$$
$$
\mathbf{u}_3 = \mathbf{v}_3 - \text{proj}_{\mathbf{u}_1}(\mathbf{v}_3) - \text{proj}_{\mathbf{u}_2}(\mathbf{v}_3) = \left(-\frac{1}{6}, \frac{7}{6}, \frac{2}{3}\right)
$$
**검증**: $\langle \mathbf{u}_1, \mathbf{u}_2 \rangle = 0.5 - 0.5 + 0 = 0$, $\langle \mathbf{u}_1, \mathbf{u}_3 \rangle = -\frac{1}{6} + \frac{7}{6} + 0 = 1 \neq 0$? 계산 오류가 있다. 다시 계산:
$\langle \mathbf{u}_1, \mathbf{u}_3 \rangle = 1 \times (-\frac{1}{6}) + 1 \times \frac{7}{6} + 0 \times \frac{2}{3} = \frac{6}{6} = 1$. 여전히 0이 아니다. 이는 $\mathbf{v}_1, \mathbf{v}_2, \mathbf{v}_3$가 선형 종속이기 때문이다. 실제로 $\mathbf{v}_1 + \mathbf{v}_2 - \mathbf{v}_3 = (2, 0, 0) \neq 0$이므로 선형 독립이다. 다시 검토...
$\langle \mathbf{u}_1, \mathbf{u}_3 \rangle$ 계산에서 실수가 있었다. $\mathbf{u}_3 = (-\frac{1}{6}, \frac{7}{6}, \frac{2}{3})$일 때 $\langle \mathbf{u}_1, \mathbf{u}_3 \rangle = 1 \times (-\frac{1}{6}) + 1 \times \frac{7}{6} + 0 \times \frac{2}{3} = 1 \neq 0$. 이는 $\mathbf{u}_3$가 $\mathbf{u}_1$과 직교하지 않음을 의미한다. 그람-슈미트 과정을 다시 검토해야 한다.
(참고: 이 예제는 그람-슈미트 과정의 수동 계산에서 수치 오류가 발생하기 쉬움을 보여준다. 실제로는 안정적인 수치 알고리즘(Modified Gram-Schmidt 또는 QR 분해)을 사용하는 것이 좋다.)
```
### 1.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
내적과 코사인 유사도는 자연어 처리(NLP)에서 단어 임베딩(Word Embedding)의 의미적 유사도를 측정하는 표준 도구이다$^{[21]}$. Word2Vec, GloVe 등의 임베딩 모델은 각 단어를 고차원 벡터로 매핑하며, 단어 간 의미적 유사도는 코사인 유사도로 정량화된다.
그림 1은 5개 단어 임베딩 간의 코사인 유사도 히트맵을 보여준다. "king-queen", "man-woman" 쌍은 유사도가 높고(밝은 색), "apple"은 다른 단어들과 유사도가 낮다(어두운 색). 이는 내적이 단순한 수학 연산을 넘어 의미적 관계를 포착할 수 있음을 보여준다.
**그림 1: 단어 임베딩 코사인 유사도 히트맵(Figure 1: Cosine Similarity Heatmap of Word Embeddings).** "king-queen"과 "man-woman"은 의미적 유사성이 높아 코사인 유사도가 높다. "apple"은 과일 범주에 속하므로 다른 단어들과 유사도가 낮다.
---
## 제2장 직교 분해 — 복잡한 것을 분리하는 기술 (Chapter 2 Orthogonal Decomposition — The Art of Separating Complex Things)
### 2.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
직교 분해(Orthogonal Decomposition)는 내적 공간에서 가장 강력한 도구 중 하나이다. 그 핵심 아이디어는: 벡터 공간을 상호 직교하는 부분 공간들의 직합(Direct Sum)으로 분해하는 것이다.
```ad-definition
title: 정의 2.1 직교 여공간 (Definition 2.1 Orthogonal Complement)
$V$를 내적 공간이라 하고 $W \subseteq V$를 부분 공간이라 하자. $W$의 직교 여공간(Orthogonal Complement) $W^\perp$는 $W$의 모든 벡터와 직교하는 벡터들의 집합으로 정의된다$^{[2]}$:
$$
W^\perp = \{ \mathbf{v} \in V \mid \langle \mathbf{v}, \mathbf{w} \rangle = 0,\ \forall \mathbf{w} \in W \}.
\tag{2.1}
$$
```
```ad-theorem
title: 정리 2.1 직교 분해 정리 (Theorem 2.1 Orthogonal Decomposition Theorem)
$W$를 내적 공간 $V$의 유한차원 부분 공간이라 하자. 그러면 임의의 $\mathbf{v} \in V$는 유일하게 다음과 같이 분해된다$^{[2]}$:
$$
\mathbf{v} = \mathbf{w} + \mathbf{w}^\perp,
\tag{2.2}
$$
여기서 $\mathbf{w} \in W$이고 $\mathbf{w}^\perp \in W^\perp$이다. 즉 $V = W \oplus W^\perp$이다. $\mathbf{w}$를 $W$ 위로의 $\mathbf{v}$의 직교 투영(Orthogonal Projection)이라 하고 $\text{proj}_W(\mathbf{v})$로 표기한다.
```
```ad-theorem
title: 정리 2.2 직교 기저 위로의 투영 (Theorem 2.2 Projection onto an Orthogonal Basis)
$\{\mathbf{u}_1, \dots, \mathbf{u}_k\}$가 부분 공간 $W$의 직교 기저(Orthogonal Basis)라고 하자. $W$ 위로의 $\mathbf{v}$의 직교 투영은 각 기저 방향으로의 투영의 합으로 주어진다:
$$
\text{proj}_W(\mathbf{v}) = \sum_{i=1}^{k} \frac{\langle \mathbf{v}, \mathbf{u}_i \rangle}{\langle \mathbf{u}_i, \mathbf{u}_i \rangle} \mathbf{u}_i.
\tag{2.3}
$$
기저가 정규 직교(Orthonormal)이면($\|\mathbf{u}_i\| = 1$), 공식은 더 간단해진다:
$$
\text{proj}_W(\mathbf{v}) = \sum_{i=1}^{k} \langle \mathbf{v}, \mathbf{u}_i \rangle \mathbf{u}_i.
\tag{2.4}
$$
```
### 2.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
직교 분해의 기하학적 의미는 매우 직관적이다: 3차원 공간에서 벡터 $\mathbf{v}$는 $xy$-평면 위로의 투영 $\mathbf{w}$와 $z$축 방향 성분 $\mathbf{w}^\perp$로 분해될 수 있다. $\mathbf{w}$는 $\mathbf{v}$에서 $W$에 수직인 성분을 제거하여 얻어진다.
식 (2.3)의 각 항 $\frac{\langle \mathbf{v}, \mathbf{u}_i \rangle}{\langle \mathbf{u}_i, \mathbf{u}_i \rangle} \mathbf{u}_i$은 $\mathbf{v}$를 $\mathbf{u}_i$ 방향으로 투영한 것이다. 직교 기저의 장점은 각 방향으로의 투영이 서로 독립적이라는 점이다 — 한 방향의 투영을 변경해도 다른 방향의 투영에 영향을 주지 않는다.
### 2.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 2.1 직교 기저 위로의 투영 (Example 2.1 Projection onto an Orthogonal Basis)
$\mathbb{R}^3$에서 부분 공간 $W = \text{span}\{\mathbf{u}_1, \mathbf{u}_2\}$를 고려하자. 여기서 $\mathbf{u}_1 = (1, 1, 0)$, $\mathbf{u}_2 = (0, 0, 1)$이다. $\mathbf{v} = (3, 1, 2)$를 $W$ 위로 투영하라.
**풀이**: 먼저 $\mathbf{u}_1$과 $\mathbf{u}_2$가 직교하는지 확인: $\langle \mathbf{u}_1, \mathbf{u}_2 \rangle = 1 \times 0 + 1 \times 0 + 0 \times 1 = 0$. 직교한다.
식 (2.3)을 사용:
$$
\text{proj}_W(\mathbf{v}) = \frac{\langle \mathbf{v}, \mathbf{u}_1 \rangle}{\langle \mathbf{u}_1, \mathbf{u}_1 \rangle} \mathbf{u}_1 + \frac{\langle \mathbf{v}, \mathbf{u}_2 \rangle}{\langle \mathbf{u}_2, \mathbf{u}_2 \rangle} \mathbf{u}_2.
$$
각 항 계산:
$$
\frac{\langle \mathbf{v}, \mathbf{u}_1 \rangle}{\langle \mathbf{u}_1, \mathbf{u}_1 \rangle} = \frac{3 \times 1 + 1 \times 1 + 2 \times 0}{1^2 + 1^2 + 0^2} = \frac{4}{2} = 2,
$$
$$
\frac{\langle \mathbf{v}, \mathbf{u}_2 \rangle}{\langle \mathbf{u}_2, \mathbf{u}_2 \rangle} = \frac{3 \times 0 + 1 \times 0 + 2 \times 1}{0^2 + 0^2 + 1^2} = \frac{2}{1} = 2.
$$
따라서:
$$
\text{proj}_W(\mathbf{v}) = 2 \times (1, 1, 0) + 2 \times (0, 0, 1) = (2, 2, 2).
$$
직교 성분 $\mathbf{w}^\perp = \mathbf{v} - \text{proj}_W(\mathbf{v}) = (3, 1, 2) - (2, 2, 2) = (1, -1, 0)$.
**검증**: $\langle \mathbf{w}^\perp, \mathbf{u}_1 \rangle = 1 \times 1 + (-1) \times 1 + 0 \times 0 = 0$, $\langle \mathbf{w}^\perp, \mathbf{u}_2 \rangle = 1 \times 0 + (-1) \times 0 + 0 \times 1 = 0$. $\mathbf{w}^\perp$는 실제로 $W$에 직교한다.
```
### 2.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
직교 분해의 가장 중요한 응용 중 하나는 **주성분 분석(PCA, Principal Component Analysis)** 이다$^{[24]}$. PCA는 데이터의 공분산 행렬을 대각화하여, 데이터의 분산이 가장 큰 방향(주성분)을 찾는다. 이 주성분들은 직교 기저를 이루며, 원본 데이터를 이 기저에 투영함으로써 차원 축소와 잡음 제거를 달성한다.
구체적으로, 데이터 행렬 $X \in \mathbb{R}^{n \times d}$(중심화됨)의 공분산 행렬 $C = \frac{1}{n-1} X^T X$를 고려하자. $C$의 고유벡터 $\{\mathbf{e}_1, \dots, \mathbf{e}_d\}$는 직교 기저를 이루며, 대응하는 고유값 $\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_d$은 각 방향의 분산을 나타낸다. 데이터 포인트 $\mathbf{x}$의 $k$번째 주성분 위로의 투영은 $\langle \mathbf{x}, \mathbf{e}_k \rangle$이다.
---
## 제3장 최소제곱법 — 존재하지 않는 해를 찾는 방법 (Chapter 3 Least Squares — How to Find a Solution That Doesn't Exist)
### 3.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
과잉 결정(Overdetermined) 선형 시스템 $A\mathbf{x} = \mathbf{b}$(방정식의 수 > 미지수의 수)는 일반적으로 정확한 해를 갖지 않는다. **최소제곱법(Least Squares Method)** 은 잔차 $\|\mathbf{b} - A\mathbf{x}\|$의 $L_2$ 노름을 최소화하는 $\hat{\mathbf{x}}$를 찾는다$^{[5]}$.
```ad-theorem
title: 정리 3.1 정규 방정식 (Theorem 3.1 Normal Equations)
$A \in \mathbb{R}^{m \times n}$($m > n$)이고 $\mathbf{b} \in \mathbb{R}^m$이라고 하자. 최소제곱 문제 $\min_{\mathbf{x}} \|A\mathbf{x} - \mathbf{b}\|^2$의 해 $\hat{\mathbf{x}}$는 다음 정규 방정식(Normal Equations)을 만족한다:
$$
A^T A \hat{\mathbf{x}} = A^T \mathbf{b}.
\tag{3.1}
$$
$A$의 열들이 선형 독립이면 $A^T A$는 가역이며, 유일한 해는
$$
\hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}.
\tag{3.2}
$$
**증명**: 비용 함수 $J(\mathbf{x}) = \|A\mathbf{x} - \mathbf{b}\|^2 = (A\mathbf{x} - \mathbf{b})^T (A\mathbf{x} - \mathbf{b})$를 최소화한다. $J$를 $\mathbf{x}$에 대해 미분하고 0으로 설정:
$$
\nabla J(\mathbf{x}) = 2A^T (A\mathbf{x} - \mathbf{b}) = 0 \implies A^T A \mathbf{x} = A^T \mathbf{b}.
$$
$\square$
```
```ad-theorem
title: 정리 3.2 투영으로서의 최소제곱법 (Theorem 3.2 Least Squares as Projection)
최소제곱 해 $\hat{\mathbf{x}}$는 $\mathbf{b}$를 $A$의 열 공간 $\operatorname{Col}(A)$에 직교 투영하여 얻어진다:
$$
\hat{\mathbf{y}} = A\hat{\mathbf{x}} = A (A^T A)^{-1} A^T \mathbf{b} = P \mathbf{b},
\tag{3.3}
$$
여기서 $P = A (A^T A)^{-1} A^T$는 $\operatorname{Col}(A)$ 위로의 직교 투영 행렬(Orthogonal Projection Matrix)이다. $P$는 멱등(Idempotent, $P^2 = P$)이고 대칭($P^T = P$)이다.
```
### 3.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
최소제곱법의 기하학적 의미는 매우 명확하다: $\mathbf{b}$는 $A$의 열 공간 $\operatorname{Col}(A)$에 속하지 않는다. 최적의 근사는 $\mathbf{b}$를 $\operatorname{Col}(A)$에 직교 투영하여 얻은 $\hat{\mathbf{y}}$이다. 잔차 $\mathbf{r} = \mathbf{b} - \hat{\mathbf{y}}$는 열 공간에 수직이며, 따라서 $A^T \mathbf{r} = \mathbf{0}$을 만족한다.
### 3.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 3.1 직선 피팅 — 정규 방정식 수동 풀이 (Example 3.1 Line Fitting — Manual Solution of Normal Equations)
세 데이터 포인트 $(1, 1)$, $(2, 3)$, $(3, 2)$가 주어졌다. 최소제곱법을 사용하여 최적 피팅 직선 $y = \beta_0 + \beta_1 x$를 찾으라.
**풀이**:
**단계 1**: 행렬 형태 구성.
$$
A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix},\quad
\mathbf{b} = \begin{bmatrix} 1 \\ 3 \\ 2 \end{bmatrix},\quad
\mathbf{x} = \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}.
$$
**단계 2**: 정규 방정식 $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ 구성.
$$
A^T A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix}
\begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}
= \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix},
$$
$$
A^T \mathbf{b} = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix}
\begin{bmatrix} 1 \\ 3 \\ 2 \end{bmatrix}
= \begin{bmatrix} 6 \\ 13 \end{bmatrix}.
$$
정규 방정식:
$$
\begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix} = \begin{bmatrix} 6 \\ 13 \end{bmatrix}.
$$
**단계 3**: 역행렬을 사용하여 푼다:
$$
\det = 3 \times 14 - 6 \times 6 = 42 - 36 = 6,
$$
$$
(\mathbf{A}^T \mathbf{A})^{-1} = \frac{1}{6} \begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix},
$$
$$
\hat{\mathbf{x}} = \frac{1}{6} \begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix} \begin{bmatrix} 6 \\ 13 \end{bmatrix} = \frac{1}{6} \begin{bmatrix} 84 - 78 \\ -36 + 39 \end{bmatrix} = \frac{1}{6} \begin{bmatrix} 6 \\ 3 \end{bmatrix} = \begin{bmatrix} 1 \\ 0.5 \end{bmatrix}.
$$
따라서 최적 직선은 $\hat{y} = 1 + 0.5x$이다.
**단계 4**: 투영 검증:
$$
\hat{\mathbf{y}} = \mathbf{A}\hat{\mathbf{x}} = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 0.5 \end{bmatrix} = \begin{bmatrix} 1.5 \\ 2.0 \\ 2.5 \end{bmatrix},
$$
$$
\mathbf{r} = \mathbf{b} - \hat{\mathbf{y}} = \begin{bmatrix} 1 \\ 3 \\ 2 \end{bmatrix} - \begin{bmatrix} 1.5 \\ 2.0 \\ 2.5 \end{bmatrix} = \begin{bmatrix} -0.5 \\ 1.0 \\ -0.5 \end{bmatrix}.
$$
$\mathbf{A}^T \mathbf{r} = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix} \begin{bmatrix} -0.5 \\ 1.0 \\ -0.5 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$를 확인할 수 있으며, 이는 잔차가 열 공간에 직교함을 의미한다.
```
### 3.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
그림 2는 최소제곱 투영의 기하학적 직관을 보여준다. 관측 벡터 $\mathbf{b}$는 $\mathbf{A}$의 열 공간(모델 공간)에 속하지 않는다. 최소제곱 해 $\hat{\mathbf{x}}$는 $\mathbf{b}$를 열 공간에 직교 투영하여 $\hat{\mathbf{y}}$를 얻으며, 이는 열 공간에서 $\mathbf{b}$에 가장 가까운 근사이다.
제곱법을 사용하여 예측 변수와 응답 변수 간의 관계를 모델링한다; 시스템 식별(System Identification)은 최소제곱법을 사용하여 동적 시스템의 파라미터를 추정한다; 칼만 필터(Kalman Filter)의 측정 업데이트 단계는 최소제곱 문제로 해석될 수 있다. 모든 경우의 핵심은 동일하다: 정확한 해가 존재하지 않을 때, **직교 투영(Orthogonal Projection)** 을 통해 최적의 근사해를 찾는 것이다.
---
## 제4장 유한차원에서 무한차원으로 — 함수를 벡터로 보기 (Chapter 4 From Finite Dimensions to Infinite Dimensions — Functions as Vectors)
### 4.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
앞 장들에서 논의된 내적은 유한차원 유클리드 공간 $\mathbb{R}^n$에 국한되어 있었다. 그러나 내적의 개념은 자연스럽게 무한차원 함수 공간으로 확장될 수 있다. 이러한 확장은 함수해석학(Functional Analysis)의 핵심 내용이며, 선형대수학과 신호처리, 양자역학을 연결하는 다리 역할을 한다.
```ad-definition
title: 정의 4.1 $L^2$ 내적 (Definition 4.1 $L^2$ Inner Product)
$f, g: [a, b] \to \mathbb{R}$이 제곱 적분 가능 함수, 즉 $\int_a^b [f(x)]^2 dx < \infty$라고 하자. 이들의 내적은 다음과 같이 정의된다:
$$
\langle f, g \rangle = \int_a^b f(x) g(x) \, dx.
\tag{4.1}
$$
이 내적이 유도하는 노름(Norm)은
$$
\|f\| = \sqrt{\langle f, f \rangle} = \sqrt{\int_a^b [f(x)]^2 \, dx},
\tag{4.2}
$$
이며, $L^2$ 노름이라 하고 물리학에서는 신호의 "에너지"로 해석된다.
```
```ad-definition
title: 정의 4.2 힐베르트 공간 (Definition 4.2 Hilbert Space)
완비 내적 공간을 **힐베르트 공간(Hilbert Space)** 이라 한다$^{[6][8]}$. 구체적으로, 힐베르트 공간 $\mathcal{H}$는 임의의 코시 수열(Cauchy Sequence)이 $\mathcal{H}$ 내에서 수렴하는(즉, 공간이 완비인) 내적 공간이다.
유한차원 내적 공간 $\mathbb{R}^n$은 힐베르트 공간의 특수한 예이다. 무한차원 예로는 $L^2[a,b]$ (제곱 적분 가능 함수 공간)와 $\ell^2$ (제곱 가합 수열 공간)이 있다. 힐베르트 공간의 완비성은 푸리에 급수(Fourier Series)와 같은 무한 급수 전개의 수렴성을 보장한다.
```
```ad-theorem
title: 정리 4.1 $L^2$ 공간에서의 코시-슈바르츠 부등식 (Theorem 4.1 Cauchy-Schwarz Inequality in $L^2$ Space)
$L^2[a,b]$의 임의의 함수 $f, g$에 대해 다음이 성립한다:
$$
\left| \int_a^b f(x) g(x) \, dx \right| \leq \sqrt{\int_a^b [f(x)]^2 \, dx} \cdot \sqrt{\int_a^b [g(x)]^2 \, dx}.
\tag{4.3}
$$
```
### 4.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
함수를 벡터로 보는 핵심은 "점별 대응" 개념을 이해하는 데 있다. $\mathbb{R}^n$에서 벡터 $\mathbf{v} = (v_1, \dots, v_n)$의 $i$번째 성분 $v_i$는 $i$번째 좌표축에서의 값에 해당한다. 함수 공간에서 각 $x \in [a,b]$는 하나의 독립적인 "좌표축"에 대응하며, 함수값 $f(x)$는 그 좌표축에서의 성분이다. 따라서 함수 $f$는 본질적으로 가산 무한히 많은 성분을 가진 벡터이다.
두 함수가 직교한다는 것($\langle f, g \rangle = 0$)은 $L^2$ 의미에서 "서로의 성분을 포함하지 않음"을 의미한다. 이 개념은 신호처리에서 깊은 물리적 의미를 가진다: 직교하는 신호들은 동일한 채널에서 서로 간섭 없이 전송될 수 있다.
### 4.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 4.1 함수 공간에서의 직교성과 거리 측정 (Example 4.1 Orthogonality and Distance in Function Space)
구간 $[-1, 1]$에서 $f(x) = x$와 $g(x) = x^2$가 주어졌다. 이들이 직교하는지 판단하고, 각각의 노름과 함수 간 거리를 계산하라.
**풀이** (1) 내적 계산:
$$
\langle f, g \rangle = \int_{-1}^{1} x \cdot x^2 \, dx = \int_{-1}^{1} x^3 \, dx = \left[ \frac{x^4}{4} \right]_{-1}^{1} = \frac{1}{4} - \frac{1}{4} = 0.
$$
따라서 $\langle f, g \rangle = 0$이므로 $f$와 $g$는 $[-1,1]$에서 직교한다. 그 이유는 $x^3$이 기함수(Odd Function)이므로 대칭 구간에서 적분이 0이 되기 때문이다.
(2) 노름 계산:
$$
\|f\| = \sqrt{\int_{-1}^{1} x^2 \, dx} = \sqrt{\left[ \frac{x^3}{3} \right]_{-1}^{1}} = \sqrt{\frac{2}{3}} \approx 0.8165,
$$
$$
\|g\| = \sqrt{\int_{-1}^{1} x^4 \, dx} = \sqrt{\left[ \frac{x^5}{5} \right]_{-1}^{1}} = \sqrt{\frac{2}{5}} \approx 0.6325.
$$
(3) 함수 간 거리 계산:
$$
\|f - g\|^2 = \int_{-1}^{1} (x - x^2)^2 \, dx = \int_{-1}^{1} (x^2 - 2x^3 + x^4) \, dx = \frac{2}{3} + 0 + \frac{2}{5} = \frac{16}{15},
$$
따라서 $d(f, g) = \|f - g\| = \sqrt{16/15} \approx 1.0328$이다.
이 예제는 기함수와 우함수(Even Function)가 대칭 구간에서 자연스럽게 직교함을 보여준다. 이 성질은 푸리에 분석(Fourier Analysis)에서 사인 기저와 코사인 기저 사이의 직교성을 보장하므로 매우 중요하다.
```
### 4.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
함수 내적의 공학에서 가장 직접적인 응용은 **정합 필터(Matched Filter)** 이다. 레이더와 통신 시스템에서 수신 신호 $r(t)$와 송신 템플릿 $s(t)$의 내적
$$
\langle r, s \rangle = \int_{-\infty}^{\infty} r(t) s(t) \, dt
$$
은 표적 존재 여부를 검출하는 데 사용된다. 에코에 표적 반사가 포함되어 있으면 내적 값이 현저히 증가한다. 이는 본질적으로 함수 공간에서의 "유사도 검출"이다.
또한 **커널 방법(Kernel Methods)**$^{[22]}$의 핵심 아이디어는 데이터 포인트를 재생 커널 힐베르트 공간(RKHS)으로 매핑하고, 그 무한차원 공간에서 내적을 계산하여 고차원 특징 변환을 암시적으로 수행하는 것이다. 이에 대해서는 제12장에서 자세히 다룬다.
---
## 제5장 삼각함수의 직교성 — 주파수 영역의 기저 함수 (Chapter 5 Orthogonality of Trigonometric Functions — Basis Functions in the Frequency Domain)
### 5.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
힐베르트 공간 $L^2[-\pi, \pi]$에서 삼각함수 계열은 중요한 직교 기저를 구성한다. 다음 함수 집합을 고려하자:
$$
\{1,\ \sin x,\ \cos x,\ \sin 2x,\ \cos 2x,\ \dots,\ \sin nx,\ \cos nx,\ \dots\}.
$$
```ad-theorem
title: 정리 5.1 삼각함수의 직교성 (Theorem 5.1 Orthogonality of Trigonometric Functions)
구간 $[-\pi, \pi]$에서 삼각함수 계열은 다음 직교 관계를 만족한다$^{[4]}$:
$$
\int_{-\pi}^{\pi} \sin(mx) \cos(nx) \, dx = 0, \quad \forall m, n,
\tag{5.1}
$$
$$
\int_{-\pi}^{\pi} \sin(mx) \sin(nx) \, dx = 0, \quad m \neq n,
\tag{5.2}
$$
$$
\int_{-\pi}^{\pi} \cos(mx) \cos(nx) \, dx = 0, \quad m \neq n.
\tag{5.3}
$$
동일 주파수의 자기 내적(Self Inner Product)은 0이 아니다:
$$
\int_{-\pi}^{\pi} \sin^2(nx) \, dx = \pi, \quad
\int_{-\pi}^{\pi} \cos^2(nx) \, dx = \pi.
\tag{5.4}
$$
**증명** 이 관계들은 삼각함수의 곱을 합으로 바꾸는 공식(Product-to-Sum Formulas)에서 직접 유도된다. 예를 들어, (5.2)의 경우:
$$
\sin(mx)\sin(nx) = \frac{1}{2}[\cos((m-n)x) - \cos((m+n)x)].
$$
$m \neq n$일 때 $\cos((m-n)x)$와 $\cos((m+n)x)$의 $[-\pi, \pi]$에서의 적분은 모두 0이다. $\square$
```
### 5.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
삼각함수 직교성의 기하학적 의미는: 서로 다른 주파수의 사인파와 코사인파가 $L^2$ 공간에서 서로 수직이라는 것이다. 이는 "신호"로서 서로 간섭하지 않음을 의미한다 — 이것이 바로 **주파수 분할 다중화(Frequency Division Multiplexing)** 의 수학적 기초이다.
통신 시스템에서 서로 다른 사용자의 데이터는 상호 직교하는 반송파에 변조되어 동시에 전송될 수 있으며, 수신단은 내적 연산을 통해 각 신호를 분리할 수 있다. 이는 시간 영역에서 완전히 중첩되어 있더라도 가능하다. 이 원리는 현대 무선 통신의 **주파수 영역(Frequency Domain)**$^{[16]}$ 분석에서 핵심적인 위치를 차지한다.
### 5.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 5.1 삼각함수 직교성의 수동 검증 (Example 5.1 Manual Verification of Trigonometric Orthogonality)
$[-\pi, \pi]$에서 다음 세 가지 내적을 검증하라.
**경우 A: $\langle \sin(2x), \cos(3x) \rangle$**
$$
\langle \sin(2x), \cos(3x) \rangle = \int_{-\pi}^{\pi} \sin(2x)\cos(3x) \, dx.
$$
곱을 합으로 바꾸는 공식 $\sin\alpha\cos\beta = \frac{1}{2}[\sin(\alpha+\beta) + \sin(\alpha-\beta)]$을 사용하면:
$$
\sin(2x)\cos(3x) = \frac{1}{2}[\sin(5x) + \sin(-x)] = \frac{1}{2}[\sin(5x) - \sin(x)].
$$
임의의 정수 $k$에 대해 $\int_{-\pi}^{\pi} \sin(kx) \, dx = 0$이므로,
$$
\langle \sin(2x), \cos(3x) \rangle = \frac{1}{2} \times 0 - \frac{1}{2} \times 0 = 0.
$$
**경우 B: $\langle \sin(2x), \sin(3x) \rangle$**
$\sin\alpha\sin\beta = \frac{1}{2}[\cos(\alpha-\beta) - \cos(\alpha+\beta)]$을 사용하면:
$$
\sin(2x)\sin(3x) = \frac{1}{2}[\cos(-x) - \cos(5x)] = \frac{1}{2}[\cos(x) - \cos(5x)].
$$
$k \neq 0$에 대해 $\int_{-\pi}^{\pi} \cos(kx) \, dx = 0$이므로,
$$
\langle \sin(2x), \sin(3x) \rangle = \frac{1}{2} \times 0 - \frac{1}{2} \times 0 = 0.
$$
**경우 C: $\langle \sin(2x), \sin(2x) \rangle$ (자기 내적)**
배각 공식 $\sin^2\theta = (1 - \cos 2\theta)/2$을 이용하면:
$$
\langle \sin(2x), \sin(2x) \rangle = \int_{-\pi}^{\pi} \frac{1 - \cos(4x)}{2} \, dx = \frac{1}{2} \cdot 2\pi - 0 = \pi.
$$
이 결과는 $\|\sin(2x)\| = \sqrt{\pi}$임을 의미하며, 이것이 푸리에 급수(Fourier Series)의 계수 분모에 $\pi$가 나타나는 이유이다.
```
### 5.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
**직교 주파수 분할 다중화(OFDM, Orthogonal Frequency Division Multiplexing)** 는 현대 4G/5G 무선 통신의 핵심 기술이다$^{[16]}$. 고속 데이터 스트림을 여러 저속 부스트림으로 분할하고, 각각을 상호 직교하는 부반송파에 변조하여 병렬 전송한다. 부반송파 간의 직교성
$$
\int_0^T \sin(2\pi f_k t) \cdot \sin(2\pi f_l t) \, dt = 0, \quad k \neq l,
$$
덕분에 수신단은 내적 연산을 통해 각 부반송파 신호를 완벽하게 분리할 수 있으며, 스펙트럼 상에서 심하게 중첩되어 있더라도 가능하다. 이는 주파수 효율성을 크게 향상시킨다.
---
## 제6장 푸리에 급수와 푸리에 변환 — 삼각 기저 위로의 함수 투영 (Chapter 6 Fourier Series and Fourier Transform — Projection of Functions onto Trigonometric Bases)
### 6.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
삼각함수 계열의 직교성 덕분에 임의의 주기 함수를 서로 다른 주파수의 삼각함수들의 선형 결합으로 분해할 수 있다. 이 분해를 **푸리에 급수(Fourier Series)**$^{[11]}$라 한다.
```ad-theorem
title: 정리 6.1 푸리에 급수 (Theorem 6.1 Fourier Series)
$f(t)$가 $2\pi$를 주기로 하는 제곱 적분 가능 함수라고 하자. 그 푸리에 급수 전개는 다음과 같다:
$$
f(t) = \frac{a_0}{2} + \sum_{n=1}^{\infty} [a_n \cos(nt) + b_n \sin(nt)],
\tag{6.1}
$$
여기서 계수는 내적으로 주어진다:
$$
a_0 = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \, dt,
\tag{6.2}
$$
$$
a_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \cos(nt) \, dt = \frac{\langle f, \cos(nt) \rangle}{\|\cos(nt)\|^2},
\tag{6.3}
$$
$$
b_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \sin(nt) \, dt = \frac{\langle f, \sin(nt) \rangle}{\|\sin(nt)\|^2}.
\tag{6.4}
$$
식 (6.3)-(6.4)는 푸리에 계수의 본질을 드러낸다: 그것들은 각 삼각 기저 위로의 함수 $f$의 투영 계수(내적을 기저의 노름 제곱으로 나눈 값)이며, 유한차원 벡터를 직교 기저 위에서 좌표를 계산하는 것과 완전히 동일하다.
주기 $T \to \infty$일 때, 푸리에 급수는 **푸리에 변환(Fourier Transform)**$^{[12]}$으로 이행한다:
$$
X(f) = \int_{-\infty}^{\infty} x(t) e^{-j2\pi ft} \, dt = \langle x(t), e^{j2\pi ft} \rangle.
\tag{6.5}
$$
푸리에 변환은 시간 영역 함수 $x(t)$를 복소 지수 기저 $e^{j2\pi ft}$에 투영하여 주파수 영역 표현 $X(f)$를 얻는다.
```
### 6.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
푸리에 변환의 기하학적 본질은 "탐침(Probe)" 사상이다: 서로 다른 주파수의 복소 지수 진동을 탐침으로 사용하여 분석 대상 신호와 내적을 취한다. 신호에 특정 주파수 성분이 포함되어 있으면 내적 값이 크고(스펙트럼 피크 발생), 포함되어 있지 않으면 내적 값이 0에 가깝다. 스펙트럼 그래프의 각 피크는 해당 주파수 기저 위로의 신호 투영 강도에 대응한다.
### 6.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 6.1 주기 구형파의 푸리에 급수 전개 (Example 6.1 Fourier Series Expansion of a Periodic Square Wave)
주기가 $2\pi$인 구형파
$$
f(t) = \begin{cases}
1, & 0 < t < \pi, \\
-1, & -\pi < t < 0,
\end{cases}
$$
의 푸리에 급수 계수를 구하라.
**풀이** $f(t)$는 기함수이므로 $a_0 = a_n = 0$이다(코사인 계수가 모두 0). $b_n$만 계산하면 된다.
$$
b_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(t) \sin(nt) \, dt = \frac{1}{\pi} \left( \int_{-\pi}^{0} (-\sin(nt)) \, dt + \int_{0}^{\pi} \sin(nt) \, dt \right).
$$
첫 번째 항 계산: $\int_{-\pi}^{0} -\sin(nt) \, dt = \left[ \frac{\cos(nt)}{n} \right]_{-\pi}^{0} = \frac{1}{n} - \frac{\cos(-n\pi)}{n} = \frac{1 - (-1)^n}{n}$.
두 번째 항 계산: $\int_{0}^{\pi} \sin(nt) \, dt = \left[ -\frac{\cos(nt)}{n} \right]_{0}^{\pi} = -\frac{\cos(n\pi)}{n} + \frac{1}{n} = \frac{1 - (-1)^n}{n}$.
따라서:
$$
b_n = \frac{1}{\pi} \cdot \frac{2[1 - (-1)^n]}{n} = \begin{cases}
\dfrac{4}{n\pi}, & n \text{이 홀수}, \\[6pt]
0, & n \text{이 짝수}.
\end{cases}
\tag{6.6}
$$
따라서 구형파의 푸리에 급수 전개는
$$
f(t) = \frac{4}{\pi} \sum_{k=0}^{\infty} \frac{\sin((2k+1)t)}{2k+1} = \frac{4}{\pi} \left( \sin t + \frac{1}{3}\sin 3t + \frac{1}{5}\sin 5t + \cdots \right).
\tag{6.7}
$$
수치 검증: $t = \pi/2$에서 처음 3항의 근사는
$$
f(\pi/2) \approx \frac{4}{\pi} \left( 1 - \frac{1}{3} + \frac{1}{5} \right) = \frac{52}{15\pi} \approx 1.103,
$$
으로 참값 $1$에 가깝다. 더 많은 항을 추가하면 구형파에 수렴한다(깁스 현상(Gibbs Phenomenon)으로 불연속점에서 약 $9\%$의 오버슈트 발생).
```
### 6.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
그림 3은 푸리에 변환의 전형적인 응용을 보여준다. 50 Hz, 120 Hz, 260 Hz의 세 가지 주파수 성분을 포함하는 잡음이 섞인 신호 $x(t)$의 시간 영역 파형은 무질서해 보인다. 푸리에 변환 후 스펙트럼 그래프는 해당 주파수에서 세 개의 피크를 선명하게 나타낸다 — 이것이 바로 각 주파수 기저 위로의 신호 투영 강도이다.
**그림 3: 푸리에 변환의 주파수 영역 투영(Figure 3: Frequency-Domain Projection of Fourier Transform).** 위쪽은 잡음이 섞인 다중 톤 신호 $x(t) = 1.2\sin(2\pi\cdot 50t) + 0.7\sin(2\pi\cdot 120t) + 0.4\sin(2\pi\cdot 260t) + \eta(t)$의 시간 영역 파형; 아래쪽은 진폭 스펙트럼으로, 50, 120, 260 Hz에서 뚜렷한 피크가 나타난다. 이 그림은 main.py의 `np.fft.rfft`(이산 푸리에 변환)로 생성되었으며, 그 본질은 시간 영역 샘플링 벡터와 복소 지수 기저 벡터의 내적을 계산하는 것이다.
푸리에 분석의 응용은 공학의 모든 분야에 걸쳐 있다: MP3 오디오 압축은 사람의 귀에 민감하지 않은 고주파 성분을 버림으로써 데이터 양을 줄인다; JPEG 이미지 압축은 이산 코사인 변환(DCT)$^{[18]}$을 사용하여 이미지 블록을 주파수 기저에 투영한다; 심전도(ECG) 신호의 주파수 영역 진단은 스펙트럼 특징을 이용하여 병리 패턴을 식별한다.
---
## 제7장 주파수 영역에서 복소 주파수 영역으로 — 라플라스 변환과 Z 변환 (Chapter 7 From Frequency Domain to Complex Frequency Domain — Laplace and Z Transforms)
### 7.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
푸리에 변환은 신호가 절대 적분 가능 조건 $\int_{-\infty}^{\infty} |f(t)|\,dt < \infty$을 만족할 것을 요구한다. $f(t) = e^{2t}$($t \geq 0$)와 같은 지수 발산 신호의 경우, 에너지가 $t$에 따라 발산하므로 푸리에 변환의 내적 $\langle f(t), e^{-j\omega t} \rangle$은 수렴하지 않는다. 이 문제를 해결하기 위해 탐침 기저를 순허수 지수 $e^{-j\omega t}$에서 실수부 감쇠 인자를 가진 복소 지수 $e^{-st}$로 확장해야 한다. 여기서 $s = \sigma + j\omega$이다. ```ad-definition title: 정의 7.1 라플라스 변환 (Definition 7.1 Laplace Transform) $f(t)$가 $[0, \infty)$에서 정의된 함수라고 할 때, 그 **라플라스 변환(Laplace Transform)** 은 다음과 같이 정의된다$^{[14]}$: $$F(s) = \mathcal{L}\{f(t)\} = \int_0^{\infty} f(t) e^{-st}\,dt, \quad s = \sigma + j\omega \in \mathbb{C} \tag{7.1}$$ $s$의 실수부 $\sigma$가 충분히 클 때, 감쇠 인자 $e^{-\sigma t}$는 $f(t)$의 발산 경향을 억제하여 적분이 수렴하게 한다. (7.1)이 수렴하는 $s$ 값의 집합을 **수렴 영역(Region of Convergence, ROC)** 이라 한다. ``` ```ad-definition title: 정의 7.2 Z 변환 (Definition 7.2 Z-Transform) $x[n]$이 $\mathbb{Z}$에서 정의된 이산 수열이라고 할 때, 그 **Z 변환(Z-Transform)** 은 다음과 같이 정의된다$^{[15]}$: $$X(z) = \mathcal{Z}\{x[n]\} = \sum_{n=-\infty}^{\infty} x[n] z^{-n}, \quad z = re^{j\omega} \in \mathbb{C} \tag{7.2}$$ Z 변환은 라플라스 변환의 이산 영역 대응물로 볼 수 있다: $z = e^{sT}$($T$는 샘플링 주기)라 하면, $z$ 평면의 단위원 $|z| = 1$은 $s$ 평면의 허수축 $s = j\omega$에 대응한다. 내적 관점에서 라플라스 변환과 Z 변환은 모두 신호와 복소 지수 기저 함수의 내적으로 이해할 수 있다: $$\mathcal{L}\{f(t)\} = \langle f(t), e^{st} \rangle, \quad \mathcal{Z}\{x[n]\} = \langle x[n], z^n \rangle$$ 여기서 기저 함수 $e^{st}$와 $z^n$은 진폭 감쇠($\sigma$ 또는 $r$을 통해)와 위상 회전($\omega$를 통해)의 두 자유도를 포함하므로, 푸리에 변환의 기저 함수보다 더 표현력이 뛰어나다. ``` ### 7.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition) 푸리에 변환의 기저 $e^{-j\omega t}$는 복소 평면의 단위원 위를 등속 회전하는 벡터이며, 그 크기는 항상 1이다. 발산 신호 $e^{2t}$의 경우, 피적분 함수 $|e^{2t} \cdot e^{-j\omega t}| = e^{2t}$가 $t$에 따라 발산하므로 적분은 결코 수렴하지 않는다. 라플라스 변환의 기저 $e^{-(\sigma + j\omega)t} = e^{-\sigma t} e^{-j\omega t}$는 "감쇠 조절 손잡이" $\sigma$를 추가한다. $\sigma > 2$일 때 $e^{-\sigma t}$의 감쇠율이 $e^{2t}$의 발산율을 초과하므로 내적 적분이 수렴한다. 복소 $s$ 평면에서:
- **수렴 영역(ROC)**: 변환이 수렴하는 $s$ 값의 영역;
- **극점(Pole)**: $F(s)$의 분모를 0으로 만들어 변환이 무한대로 발산하는 점;
- **영점(Zero)**: $F(s)$의 분자를 0으로 만들어 변환이 0이 되는 점.
극점의 위치는 시스템의 안정성을 직접 결정한다: 모든 극점이 좌반평면($\text{Re}(s) < 0$)에 있으면 시스템은 안정적이다; 하나라도 우반평면에 있으면 시스템은 발산한다. Z 변환의 기하학적 해석도 유사하다: $z = re^{j\omega}$에서 $r$은 진폭 스케일링을, $\omega$는 위상 회전을 제어한다. 수렴 영역은 $|z| > R$(우측 수열) 또는 $|z| < R$(좌측 수열)의 원형/외부 영역이다. 극점이 단위원 내부에 있을 때 이산 시스템이 안정적이다. ### 7.3 하드코어 예제 상세 풀이 (Worked Example) ```ad-example title: 예제 7.1 발산 함수의 라플라스 변환 — 극점과 수렴 영역 분석 (Example 7.1 Laplace Transform of a Divergent Function — Pole and ROC Analysis) 지수 발산 함수 $f(t) = e^{2t}$($t \geq 0$)가 주어졌을 때, 그 라플라스 변환을 계산하고 수렴 영역과 극점을 분석하라. **풀이**: 라플라스 변환 정의식 (7.1)에 대입: $$F(s) = \int_0^{\infty} e^{2t} \cdot e^{-st}\,dt = \int_0^{\infty} e^{-(s-2)t}\,dt$$ $a = s - 2 = (\sigma - 2) + j\omega$라 하면: $$F(s) = \int_0^{\infty} e^{-at}\,dt = \left[-\frac{1}{a}e^{-at}\right]_{t=0}^{t=\infty}$$ $t \to \infty$일 때 $e^{-at} \to 0$이려면 $\text{Re}(a) > 0$, 즉 $\text{Re}(s - 2) > 0$, 다시 말해 $\sigma > 2$가 필요하다. 이 조건에서:
$$F(s) = 0 - \left(-\frac{1}{a}\right) = \frac{1}{a} = \frac{1}{s - 2}$$
따라서:
$$\mathcal{L}\{e^{2t}\} = \frac{1}{s - 2}, \quad \text{ROC: } \text{Re}(s) > 2, \quad \text{Pole: } s = 2$$
**분석**: 푸리에 변환은 $\sigma = 0$에 해당하며, $s = j\omega$의 실수부는 0으로 2보다 작아 수렴 영역 내에 있지 않다 — 이것이 $e^{2t}$의 푸리에 변환이 존재하지 않는 이유이다. 라플라스 변환은 실수부 자유도 $\sigma$를 도입함으로써 적분 경로를 허수축에서 복소 평면의 우반평면으로 확장하여 발산 신호를 처리할 수 있게 한다.
```
```ad-example
title: 예제 7.2 이산 수열의 Z 변환 — 수렴 영역과 안정성 분석 (Example 7.2 Z-Transform of a Discrete Sequence — ROC and Stability Analysis)
이산 수열 $x[n] = (0.5)^n u[n]$이 주어졌다. 여기서 $u[n]$은 단위 계단 함수(Unit Step Function)이다($n < 0$에서 0, $n \geq 0$에서 1). Z 변환을 계산하고 수렴 영역과 안정성을 분석하라. **풀이**: Z 변환 정의식 (7.2)에 대입: $$X(z) = \sum_{n=0}^{\infty} (0.5)^n z^{-n} = \sum_{n=0}^{\infty} (0.5 z^{-1})^n$$ 이는 기하 급수(Geometric Series)이다. $|0.5 z^{-1}| < 1$, 즉 $|z| > 0.5$일 때 급수가 수렴한다:
$$X(z) = \frac{1}{1 - 0.5z^{-1}} = \frac{z}{z - 0.5}, \quad \text{ROC: } |z| > 0.5$$
수렴 영역은 원점을 중심으로 반지름 0.5인 원의 외부 영역이다. 단위원 $|z| = 1$은 수렴 영역 내에 완전히 포함되므로, 이 수열의 이산시간 푸리에 변환(DTFT, $z = e^{j\omega}$에 해당)이 존재한다. 극점은 $z = 0.5$에 위치하며 단위원 내부에 있으므로 이 시스템은 안정적이다.
```
### 7.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
라플라스 변환은 제어 이론(Control Theory)의 초석이다. 피드백 제어 시스템에서 전달 함수 $H(s)$의 극점 위치는 안정성을 직접 결정한다:
- 모든 극점이 좌반평면($\text{Re}(s) < 0$)에 있음: 시스템 안정, 임펄스 응답이 지수적으로 감쇠;
- 극점이 우반평면($\text{Re}(s) > 0$)에 존재: 시스템 발산, 임펄스 응답이 지수적으로 증가;
- 극점이 허수축($\text{Re}(s) = 0$)에 위치: 시스템 임계 안정, 임펄스 응답이 등진폭 진동.
Z 변환은 디지털 신호 처리(Digital Signal Processing)의 핵심이다. 디지털 필터의 주파수 응답은 $H(z)$의 단위원 위에서의 값으로 결정되며, 안정성은 모든 극점이 단위원 내부에 있는지 여부로 결정된다. IIR 필터 설계는 본질적으로 $z$ 평면에서 극점과 영점을 배치하여 목표 주파수 응답에 근접하는 과정이다.
---
## 제8장 컨볼루션의 본질 — "슬라이딩 내적" (Chapter 8 The Essence of Convolution — "Sliding Inner Product")
### 8.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
**컨볼루션(Convolution)** 은 신호처리, 제어 이론, 딥러닝에서 가장 핵심적인 연산 중 하나이다$^{[17]}$. 내적 관점에서 컨볼루션의 본질은 **슬라이딩 윈도우 위에서의 내적 수열**이다.
```ad-definition
title: 정의 8.1 컨볼루션 (Definition 8.1 Convolution)
$f, g: \mathbb{R} \to \mathbb{R}$이 두 연속 함수라고 할 때, 그 **컨볼루션**은 다음과 같이 정의된다:
$$(f * g)(t) = \int_{-\infty}^{\infty} f(\tau) g(t - \tau)\,d\tau \tag{8.1}$$
이산 수열 $x, h: \mathbb{Z} \to \mathbb{R}$에 대해, **이산 컨볼루션(Discrete Convolution)** 은 다음과 같이 정의된다:
$$(x * h)[n] = \sum_{k=-\infty}^{\infty} x[k]\, h[n - k] \tag{8.2}$$
```
```ad-theorem
title: 명제 8.1 컨볼루션의 내적 해석 (Proposition 8.1 Inner Product Interpretation of Convolution)
고정된 시점 $t$에서 컨볼루션 연산 $(f * g)(t)$는 함수 $f(\tau)$와 뒤집혀서 평행 이동된 $g(\tau)$ 사이의 내적과 동등하다:
$$(f * g)(t) = \langle f(\tau), g(t - \tau) \rangle = \int f(\tau) g(t - \tau)\,d\tau \tag{8.3}$$
여기서 뒤집기 연산 $g(\tau) \to g(-\tau)$는 시스템이 인과성(Causality)을 만족하도록 보장한다 — 현재 출력은 현재 및 과거 입력에만 의존한다.
```
```ad-definition
title: 정의 8.2 상호상관 (Definition 8.2 Cross-Correlation)
컨볼루션과 밀접하게 관련된 연산은 **상호상관(Cross-Correlation)** 이다:
$$(f \star g)(t) = \int_{-\infty}^{\infty} f(\tau) g(\tau + t)\,d\tau \tag{8.4}$$
상호상관은 뒤집기 연산이 없으며, 신호 간의 다양한 이동량에 따른 내적을 직접 계산하므로 템플릿 매칭(Template Matching)과 유사도 검출에 사용된다.
```
### 8.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
컨볼루션의 기하학적 과정은 네 단계로 분해될 수 있다:
1. **뒤집기(Flip)**: 커널 함수 $g(\tau)$를 $g(-\tau)$로 뒤집어 연산이 인과성을 만족하도록 함;
2. **평행 이동(Shift)**: 뒤집힌 커널을 $t$만큼 평행 이동하여 $g(t - \tau)$를 얻음;
3. **곱셈(Multiply)**: $f(\tau)$와 $g(t - \tau)$를 점별로 곱함;
4. **적분(Integrate)**: 곱의 합(적분)을 구하여 해당 시점의 내적 값을 얻음.
$t$가 변함에 따라 커널이 시간축을 따라 슬라이딩하며, 각 위치에서 신호와 커널의 내적을 계산한다. 컨볼루션 결과 $y(t)$는 내적 값이 슬라이딩 위치에 따라 변화하는 곡선이다. 내적 값이 큰 위치는 신호의 국소 부분이 커널의 파형과 가장 유사함을 의미한다 — 이것이 바로 **정합 필터(Matched Filter)** 의 원리이다.
이미지 처리에서 2차원 컨볼루션 커널(Kernel)이 이미지 위를 슬라이딩하며, 각 위치에서 $k \times k$ 이웃과 커널의 2차원 내적을 계산하여 "응답 맵(Feature Map)"을 출력한다. 응답 값이 높은 영역은 해당 국소 이미지 블록이 컨볼루션 커널의 패턴과 가장 일치함을 의미한다.
### 8.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 8.1 이산 수열의 슬라이딩 내적 컨볼루션 — 점별 수동 계산 (Example 8.1 Sliding Inner Product Convolution of Discrete Sequences — Pointwise Manual Calculation)
입력 수열 $x[n] = [1, 2, 3]$($n = 0, 1, 2$)과 컨볼루션 커널 $h[n] = [0.5, 1, 0.5]$($n = 0, 1, 2$)가 주어졌다. 컨볼루션 $y[n] = (x * h)[n]$을 계산하라.
**풀이**: 이산 컨볼루션 공식 (8.2)에 따라 점별로 계산:
$n = 0$:
$$y[0] = \sum_{k} x[k]h[0-k] = x[0]h[0] = 1 \times 0.5 = 0.5$$
$n = 1$:
$$y[1] = x[0]h[1] + x[1]h[0] = 1 \times 1 + 2 \times 0.5 = 2$$
$n = 2$:
$$y[2] = x[0]h[2] + x[1]h[1] + x[2]h[0] = 1 \times 0.5 + 2 \times 1 + 3 \times 0.5 = 4$$
$n = 3$:
$$y[3] = x[1]h[2] + x[2]h[1] = 2 \times 0.5 + 3 \times 1 = 4$$
$n = 4$:
$$y[4] = x[2]h[2] = 3 \times 0.5 = 1.5$$
따라서 $y[n] = [0.5, 2, 4, 4, 1.5]$이다. $n = 2, 3$에서 컨볼루션 값이 최대(4)가 되는데, 이때 입력 수열 $[1, 2, 3]$과 뒤집힌 커널 $[0.5, 1, 0.5]$의 중첩 영역이 가장 커서 내적 값이 최고조에 달한다.
```
```ad-example
title: 예제 8.2 Sobel 에지 검출 — 내적 템플릿으로서의 2차원 컨볼루션 (Example 8.2 Sobel Edge Detection — 2D Convolution as an Inner Product Template)
Sobel 연산자는 두 개의 $3 \times 3$ 컨볼루션 커널로 구성되며, 각각 수평 및 수직 방향의 에지를 검출한다:
$$S_x = \begin{bmatrix} 1 & 0 & -1 \\ 2 & 0 & -2 \\ 1 & 0 & -1 \end{bmatrix}, \quad S_y = \begin{bmatrix} 1 & 2 & 1 \\ 0 & 0 & 0 \\ -1 & -2 & -1 \end{bmatrix}$$
$3 \times 3$ 국소 이미지 블록(그레이스케일 값)이 주어졌다:
$$I = \begin{bmatrix} 10 & 20 & 30 \\ 10 & 20 & 30 \\ 10 & 20 & 30 \end{bmatrix}$$
이 이미지 블록은 수평 방향으로 밝기 그라데이션(왼쪽에서 오른쪽으로 밝아짐)을 보이며, 수직 방향으로는 밝기가 균일하다.
**풀이**: Sobel X 연산자와 이미지 블록의 2차원 내적 계산:
$$G_x = \sum_{i=1}^{3} \sum_{j=1}^{3} S_x(i,j) \cdot I(i,j)$$
$$= (1 \times 10) + (0 \times 20) + (-1 \times 30) + (2 \times 10) + (0 \times 20) + (-2 \times 30) + (1 \times 10) + (0 \times 20) + (-1 \times 30)$$
$$= 10 + 0 - 30 + 20 + 0 - 60 + 10 + 0 - 30 = -80$$
Sobel Y 연산자의 2차원 내적 계산:
$$G_y = (1 \times 10) + (2 \times 20) + (1 \times 30) + (0 \times 10) + (0 \times 20) + (0 \times 30) + (-1 \times 10) + (-2 \times 20) + (-1 \times 30)$$
$$= 10 + 40 + 30 + 0 + 0 + 0 - 10 - 40 - 30 = 0$$
에지 강도(Edge Intensity)는:
$$\|\nabla I\| = \sqrt{G_x^2 + G_y^2} = \sqrt{(-80)^2 + 0^2} = 80$$
**분석**: $|G_x| = 80$으로 큰 값을 가지며, 이는 수평 방향에 유의미한 밝기 변화(수직 에지)가 있음을 나타낸다; $G_y = 0$은 수직 방향으로 밝기가 균일함을 나타낸다. Sobel 에지 검출의 본질은 두 개의 직교 컨볼루션 커널(내적 템플릿)을 이미지 위에서 슬라이딩하며 각 픽셀 이웃과 템플릿의 2차원 내적을 계산하고, 내적 진폭이 큰 위치가 바로 에지임을 찾는 것이다.
```
### 8.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
> **그림 4: 슬라이딩 내적과 정합 필터(Figure 4: Sliding Inner Product and Matched Filter).** 파란색 곡선은 잡음이 섞인 랜덤 수열 $x[n]$이고, 빨간색 곡선은 컨볼루션 응답이다. 템플릿 펄스 $h[n] = [0, 0.35, 1.0, 0.35, 0]$가 시간축을 따라 슬라이딩하며 각 위치에서 $\sum x[k]h[n-k]$를 계산한다. 주황색 표시 지점($n \approx 110, 265, 340$)에서 컨볼루션 값이 최고조에 도달하며, 이는 해당 위치의 신호 국소 파형이 템플릿과 가장 일치함을 의미한다. 현대 레이더 신호 포착의 핵심 원리는 이 슬라이딩 투영 메커니즘에서 비롯된다.
> **그림 5: 2차원 컨볼루션을 통한 에지 특징 추출 (Sobel 에지 검출)(Figure 5: Edge Feature Extraction via 2D Convolution (Sobel Edge Detection)).** Sobel 연산자는 한 쌍의 직교 $3 \times 3$ 미분 템플릿으로, 각각 $x$ 방향과 $y$ 방향의 밝기 그라데이션을 검출한다. 템플릿이 그레이스케일 이미지 위를 슬라이딩할 때, 평탄한 영역에서는 양의 투영과 음의 투영이 서로 상쇄되어(내적이 0에 가까움) 에지에서는 픽셀의 계단적 변화로 인해 내적 진폭이 유의미하게 증가한다. $\|\nabla I\| = \sqrt{G_x^2 + G_y^2}$를 통해 두 직교 성분을 결합하면 물리적 세계의 에지 정보를 추출할 수 있다. 이것이 컴퓨터 비전에서 특징 추출의 기초이다.
---
## 제9장 이산 코사인 변환과 JPEG 압축 (Chapter 9 Discrete Cosine Transform and JPEG Compression)
### 9.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
**이산 코사인 변환(DCT, Discrete Cosine Transform)** 은 JPEG 이미지 압축 표준의 핵심 알고리즘이다$^{[18][19]}$. 내적 관점에서 DCT는 이미지 블록을 이산 코사인 기저 함수 집합에 직교 투영하여 공간 영역의 픽셀 값을 주파수 영역 계수로 변환한다.
```ad-definition
title: 정의 9.1 2차원 DCT (Definition 9.1 Two-Dimensional DCT)
$f(x, y)$가 $N \times N$ 이미지 블록($x, y = 0, 1, \dots, N-1$)이라고 할 때, 그 2차원 DCT는 다음과 같이 정의된다:
$$F(u, v) = \frac{2}{N} C(u) C(v) \sum_{x=0}^{N-1} \sum_{y=0}^{N-1} f(x, y) \cos\left[\frac{(2x+1)u\pi}{2N}\right] \cos\left[\frac{(2y+1)v\pi}{2N}\right] \tag{9.1}$$
여기서 $u, v = 0, 1, \dots, N-1$은 주파수 인덱스이며, 정규화 계수는:
$$C(k) = \begin{cases} 1/\sqrt{2}, & k = 0 \\ 1, & k \neq 0 \end{cases}$$
```
```ad-theorem
title: 명제 9.1 직교 투영으로서의 DCT (Proposition 9.1 DCT as Orthogonal Projection)
$N \times N$개의 DCT 기저 함수를 정의하자:
$$B_{u,v}(x, y) = \frac{2}{N} C(u) C(v) \cos\left[\frac{(2x+1)u\pi}{2N}\right] \cos\left[\frac{(2y+1)v\pi}{2N}\right]$$
그러면 $\{B_{u,v}\}$는 $\mathbb{R}^{N \times N}$ 위의 완비 직교 기저(Complete Orthogonal Basis)를 구성하며, 다음을 만족한다:
$$\langle B_{u,v}, B_{u',v'} \rangle = \sum_{x=0}^{N-1} \sum_{y=0}^{N-1} B_{u,v}(x, y) B_{u',v'}(x, y) = \delta_{u,u'} \delta_{v,v'}$$
DCT 계수 $F(u, v)$는 바로 이미지 블록 $f$의 기저 함수 $B_{u,v}$ 위로의 투영이다:
$$F(u, v) = \langle f, B_{u,v} \rangle = \sum_{x=0}^{N-1} \sum_{y=0}^{N-1} f(x, y) B_{u,v}(x, y) \tag{9.2}$$
```
```ad-theorem
title: 명제 9.2 에너지 집중성 (Proposition 9.2 Energy Compaction)
자연 이미지의 경우 DCT 계수의 에너지는 주로 저주파 영역($u, v$가 작은 쪽)에 집중되며, 고주파 계수($u, v$가 큰 쪽)의 진폭은 0에 가깝다. JPEG 압축은 이 특성을 이용하여 양자화(Quantization)를 통해 미세한 고주파 계수를 버림으로써 시각적 품질을 유지하면서 큰 폭의 압축을 달성한다.
```
### 9.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
$8 \times 8$ 이미지 블록은 64차원 공간의 벡터로 볼 수 있다. DCT 기저 함수는 이 64차원 공간에서 완비 직교 기저를 구성한다:
- **$B_{0,0}$ (DC 기저)**: 상수 함수, 이미지 블록의 평균 밝기에 대응;
- **저주파 기저**($u, v$가 작음): 부드러운 그라데이션 패턴, 이미지의 대규모 구조에 대응;
- **고주파 기저**($u, v$가 큼): 조밀한 진동 패턴, 이미지의 세부 질감과 노이즈에 대응.
이미지 블록 벡터를 이 64개의 기저 방향으로 투영하면 64개의 DCT 계수를 얻는다. 자연 이미지의 경우 투영 에너지는 저주파 계수(좌상단)에高度로 집중되며, 고주파 계수(우하단)는 0에 가깝다. JPEG 압축은 양자화를 통해 미세한 고주파 계수를 0으로 설정하고, 소수의 저주파 계수만으로 원본 이미지 블록을 근사 재구성한다.
### 9.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 9.1 $2 \times 2$ 이미지 블록의 DCT 투영 계수 수동 계산 (Example 9.1 Manual Calculation of DCT Projection Coefficients for a $2 \times 2$ Image Block)
DCT의 투영 본질을 보여주기 위해 $N = 2$인 초소형 이미지 블록을 고려하자. $2 \times 2$ DCT 기저 행렬은:
$$T = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}$$
$T$는 직교 행렬(Orthogonal Matrix)로 $T^T T = I$를 만족한다. 그레이스케일 이미지 블록이 주어졌다:
$$I = \begin{bmatrix} 100 & 80 \\ 60 & 40 \end{bmatrix}$$
2차원 DCT는 행렬 곱셈을 통해 구현될 수 있다: $F = T \cdot I \cdot T^T$.
**풀이**:
**단계 1**: $T \cdot I$ 계산.
$$T \cdot I = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix} \begin{bmatrix} 100 & 80 \\ 60 & 40 \end{bmatrix} = \frac{1}{\sqrt{2}} \begin{bmatrix} 160 & 120 \\ 40 & 40 \end{bmatrix}$$
**단계 2**: $(T \cdot I) \cdot T^T$ 계산.
$$F = \frac{1}{\sqrt{2}} \begin{bmatrix} 160 & 120 \\ 40 & 40 \end{bmatrix} \cdot \frac{1}{\sqrt{2}} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix} = \frac{1}{2} \begin{bmatrix} 160 & 120 \\ 40 & 40 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}$$
$$= \frac{1}{2} \begin{bmatrix} 280 & 40 \\ 80 & 0 \end{bmatrix} = \begin{bmatrix} 140 & 20 \\ 40 & 0 \end{bmatrix}$$
**단계 3**: DCT 계수 해석.
- $F(0,0) = 140$: DC 계수, 이미지 블록의 평균 밝기에 대응. $(100+80+60+40)/4 = 70$, $N = 2$를 곱하면 140.
- $F(0,1) = 20$: 수평 방향 고주파 성분, 좌우 픽셀 차이를 반영.
- $F(1,0) = 40$: 수직 방향 고주파 성분, 상하 픽셀 차이를 반영.
- $F(1,1) = 0$: 대각선 방향 고주파 성분, 0이므로 대각선 질감이 없음을 의미.
**핵심 관찰**: $F(1,1) = 0$, 즉 대각선 방향 고주파 기저 위로의 투영이 0이다 — 이 성분은 정보 손실 없이 완전히 버릴 수 있다. 이것이 JPEG 압축의 핵심 원리이다: 자연 이미지의 대부분의 고주파 DCT 계수는 0에 가깝고, 양자화 후 0이 되어 큰 폭의 압축이 가능해진다.
```
### 9.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
JPEG 압축 과정은 다음과 같다:
1. **분할(Blocking)**: 이미지를 $8 \times 8$ 블록으로 분할;
2. **DCT 변환**: 각 블록에 대해 2차원 DCT를 수행하여 64개의 주파수 영역 계수를 얻음;
3. **양자화(Quantization)**: 양자화 행렬로 DCT 계수를 나누고(고주파일수록 양자화 스간에서 PCA를 수행하여 비선형 차원 축소에 사용;
- **커널 릿지 회귀(Kernel Ridge Regression)**: 선형 릿지 회귀를 비선형 회귀로 확장;
- **커널 평균 매칭(Kernel Mean Matching)**: 도메인 적응(Domain Adaptation) 및 전이 학습(Transfer Learning)에 사용;
- **가우시안 프로세스(Gaussian Process)**: 커널 함수를 공분산 함수로 사용하여 베이지안 최적화 및 회귀에 활용;
- **신경 탄젠트 커널(NTK, Neural Tangent Kernel)**: 무한히 넓은 신경망과 커널 방법을 연결하여 딥러닝에 이론적 분석 도구를 제공.
---
## 제13장 양자역학에서의 내적 — 확률은 곧 투영 (Chapter 13 Inner Product in Quantum Mechanics — Probability Is Projection)
### 13.1 이론과 엄밀한 정의 (Theory and Rigorous Definitions)
양자역학은 내적의 개념을 물리적 세계의 궁극적인 차원으로 끌어올린다. 양자역학에서 시스템의 상태는 힐베르트 공간 $\mathcal{H}$ 상의 **상태 벡터(State Vector)** $|\psi\rangle$로 기술된다(디랙 표기법, Dirac Notation)$^{[26]}$. 여기서의 힐베르트 공간은 일반적으로 무한차원 복소 내적 공간이다.
```ad-definition
title: 정의 13.1 상태 벡터와 내적 (Definition 13.1 State Vector and Inner Product)
상태 벡터 $|\psi\rangle \in \mathcal{H}$는 양자 시스템의 모든 정보를 포함한다. 두 상태의 내적 $\langle \phi | \psi \rangle$은 복소수이며, 그 절댓값의 제곱이 측정 확률을 결정한다.
**공리 13.1 (보른 규칙, Born Rule)** 시스템이 상태 $|\psi\rangle$에 있을 때, 관측 가능량 $\hat{A}$을 측정하여 고유값 $\lambda_n$을 얻을 확률은$^{[21]}$:
$$P(\lambda_n) = |\langle a_n | \psi \rangle|^2 \tag{13.1}$$
여기서 $|a_n\rangle$은 $\hat{A}$의 $\lambda_n$에 대응하는 고유 상태(Eigenstate)이다. 측정 후 시스템 상태는 $|a_n\rangle$으로 붕괴(Collapse)한다. 보른 규칙의 본질은: **확률은 측정 기저 위로의 상태 벡터 투영의 제곱 크기와 같다**는 것이다.
```
```ad-definition
title: 정의 13.2 관측 가능량과 자기 수반 연산자 (Definition 13.2 Observable and Self-Adjoint Operator)
관측 가능량(Observable)은 힐베르트 공간 상의 **자기 수반 연산자(Hermitian Operator)** $\hat{A}$에 대응하며, $\hat{A}^\dagger = \hat{A}$를 만족한다. 자기 수반 연산자의 고유값은 실수이며, 고유 상태는 완비 직교 기저를 이룬다.
```
```ad-definition
title: 정의 13.3 슈뢰딩거 방정식 (Definition 13.3 Schrödinger Equation)
상태 벡터의 시간 변화는 슈뢰딩거 방정식으로 기술된다:
$$i\hbar \frac{d}{dt} |\psi(t)\rangle = \hat{H} |\psi(t)\rangle \tag{13.2}$$
여기서 $\hat{H}$는 해밀토니안 연산자(Hamiltonian, 에너지 연산자)이다. 이 방정식은 본질적으로 무한차원 힐베르트 공간에서의 유니타리 진화 방정식(Unitary Evolution Equation)이다 — 내적을 보존하는 회전.
```
### 13.2 기하학과 공간적 이미지 (Geometry and Spatial Intuition)
양자역학의 기하학적 이미지는 고전적 내적 공간과 깊은 연관이 있다:
1. **상태 벡터는 단위 벡터**: 물리적으로 $|\psi\rangle$는 정규화되어야 하며, 즉 $\langle \psi | \psi \rangle = 1$이다. 모든 가능한 상태 벡터는 복소 힐베르트 공간의 단위 구면을 구성한다.
2. **측정은 직교 투영**: 측정 연산은 상태 벡터 $|\psi\rangle$를 고유 부분 공간에 투영한다. 투영 길이 $|\langle a_n | \psi \rangle|$가 확률 진폭(Probability Amplitude)을 결정하며, 그 제곱이 측정 확률이다.
3. **직교 상태는 상호 배타적**: $\langle \phi | \psi \rangle = 0$이면 두 상태는 직교(상호 배타적)한다 — 시스템이 $|\psi\rangle$에 있을 때 $|\phi\rangle$를 측정할 확률은 0이다.
4. **얽힘 상태는 분해 불가능**: 복합 시스템의 경우 $|\psi\rangle_{AB} \neq |\phi\rangle_A \otimes |\chi\rangle_B$이면 두 하위 시스템은 얽힘 상태(Entangled State)에 있다. 얽힘 상태의 수학적 본질은: 두 하위 시스템의 내적 구조가 직적(Direct Product) 형태로 분해될 수 없다는 것이다.
### 13.3 하드코어 예제 상세 풀이 (Worked Example)
```ad-example
title: 예제 13.1 스핀 $1/2$ 시스템의 측정 확률 — 내적 계산 (Example 13.1 Measurement Probability for a Spin-$1/2$ System — Inner Product Calculation)
전자 스핀을 고려하자. 그 상태는 2차원 복소 힐베르트 공간의 벡터로 표현될 수 있다. 스핀 $z$ 방향 고유 상태:
$$| \uparrow_z \rangle = \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \quad | \downarrow_z \rangle = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$$
스핀 $x$ 방향 고유 상태:
$$| \uparrow_x \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix}, \quad | \downarrow_x \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ -1 \end{pmatrix}$$
전자가 상태 $|\psi\rangle = \frac{1}{\sqrt{2}}| \uparrow_z \rangle + \frac{1}{\sqrt{2}}| \downarrow_z \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix}$에 있다.
**풀이**:
**단계 1: 정규화 검증.**
$$\langle \psi | \psi \rangle = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \end{pmatrix} \cdot \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} = \frac{1}{2}(1 + 1) = 1$$
정규화가 확인되었다.
**단계 2: $S_z$ 측정 확률.**
$$P(\uparrow_z) = |\langle \uparrow_z | \psi \rangle|^2 = \left| \begin{pmatrix} 1 & 0 \end{pmatrix} \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{\sqrt{2}} \right|^2 = \frac{1}{2}$$
$$P(\downarrow_z) = |\langle \downarrow_z | \psi \rangle|^2 = \left| \begin{pmatrix} 0 & 1 \end{pmatrix} \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{\sqrt{2}} \right|^2 = \frac{1}{2}$$
각각 50%로 예상과 일치한다.
**단계 3: $S_x$ 측정 확률.**
$$P(\uparrow_x) = |\langle \uparrow_x | \psi \rangle|^2 = \left| \frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \end{pmatrix} \cdot \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{2}(1 + 1) \right|^2 = 1$$
$$P(\downarrow_x) = |\langle \downarrow_x | \psi \rangle|^2 = \left| \frac{1}{\sqrt{2}}\begin{pmatrix} 1 & -1 \end{pmatrix} \cdot \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix} \right|^2 = \left| \frac{1}{2}(1 - 1) \right|^2 = 0$$
**핵심 관찰**: $|\psi\rangle = | \uparrow_x \rangle$이므로 $S_x$ 측정 시 100% $+\hbar/2$를 얻는다. 이는 내적의 기하학적 의미를 검증한다: 상태 벡터가 완전히 정렬되면(내적 크기가 1) 확률은 100%; 직교하면(내적이 0) 확률은 0.
**단계 4: 측정 후 상태 붕괴.** $S_z$를 측정하여 $+\hbar/2$를 얻었다고 가정하면, 상태 벡터는 붕괴한다:
$$|\psi\rangle = \frac{1}{\sqrt{2}}| \uparrow_z \rangle + \frac{1}{\sqrt{2}}| \downarrow_z \rangle \xrightarrow{\text{측정 } S_z = +\hbar/2} |\psi'\rangle = | \uparrow_z \rangle$$
이때 다시 $S_z$를 측정하면 100% $+\hbar/2$를 얻지만, $S_x$를 측정하면 다시 50/50 확률로 돌아간다. 이것이 "측정이 상태를 변화시킨다"는 본질이다 — 직교 투영 연산.
```
### 13.4 공학 및 최첨단 응용 (Engineering and Cutting-Edge Applications)
양자 내적의 개념은 혁명적인 기술을 낳고 있다:
- **양자 컴퓨팅(Quantum Computing)**: 양자 게이트 연산은 본질적으로 힐베르트 공간에서의 유니타리 변환(내적 보존 회전)이다. 쇼어 알고리즘(Shor's Algorithm)과 그로버 알고리즘(Grover's Algorithm)은 양자 상태의 중첩(Superposition)과 간섭(Interference, 내적의 위상)을 활용하여 지수적 가속을 달성;
- **양자 암호학(Quantum Cryptography)**: BB84 프로토콜은 측정 기저의 직교성을 이용하여 도청을 탐지 — 도청자의 측정이 상태 벡터를 붕괴시켜 내적 결과를 변경하므로 합법적인 통신자가 발견할 수 있음;
- **양자 텔레포테이션(Quantum Teleportation)**: Bell 상태(최대 얽힘 상태)의 내적 구조를 이용하여 양자 정보의 원격 전송을 실현;
- **양자 머신러닝(Quantum Machine Learning)**: 양자 커널 방법은 양자 상태 내적을 이용하여 고차원 힐베르트 공간에서 커널 함수를 효율적으로 계산하여 양자 우위(Quantum Advantage)를 실현할 것으로 기대.
---
## 종장 대통일 지식 지도와 철학적 승화 (Final Chapter: Grand Unified Knowledge Graph and Philosophical Sublimation)
### 만물은 투영이다 — 모든 학문을 관통하는 내적 지도 (Everything Is a Projection — An Inner Product Map Across All Disciplines)
지금까지 구축한 지식 체계를 되돌아보면, 2차원 벡터의 점곱에서 무한차원 복소 힐베르트 공간의 상태 벡터 내적까지, 내적 개념은 수학, 물리학, 공학, 컴퓨터 과학의 모든 구석을 관통한다.
**핵심 주제**: 내적 $\langle \cdot, \cdot \rangle$은 **유사도 측정(Similarity Measure)** 이다. 객체가 벡터, 함수, 신호, 이미지, 양자 상태 중 무엇이든, 내적은 동일한 질문에 답한다 — "이 두 객체는 얼마나 유사한가?"
**대통일 지식 지도 (Grand Unified Knowledge Map)**:
| 분야 | 내적의 구체적 형태 | 기하학적 해석 | 핵심 응용 |
|------|-------------------|-------------|---------|
| 선형대수학 | $\langle x, y \rangle = x^T y$ | 투영 길이 | 직교 분해, 최소제곱 |
| 함수해석학 | $\langle f, g \rangle = \int fg$ | 파형 유사도 | 푸리에 급수, 웨이블릿 변환 |
| 신호처리 | $\langle x, h \rangle = \sum x[n]h[n]$ | 정합 필터 | 컨볼루션, 상관 검출 |
| 확률통계 | $\text{Cov}(X,Y) = E[(X-\mu_X)(Y-\mu_Y)]$ | 상관 방향 | PCA, 회귀 분석 |
| 머신러닝 | $\langle Q_i, K_j \rangle$ | 어텐션 가중치 | Transformer, 자기 주의 |
| 이미지 처리 | $\langle I, K \rangle$ | 특징 응답 | CNN, 에지 검출 |
| 양자역학 | $\langle \phi \mid \psi \rangle$ | 확률 진폭 | 측정, 양자 컴퓨팅 |
| 제어 이론 | $\langle f, e^{-st} \rangle$ | 복소 주파수 영역 투영 | 라플라스 변환, 안정성 분석 |
### 철학적 승화 — 투영은 곧 인식 (Philosophical Sublimation — Projection Is Cognition)
철학적 차원에서 "만물은 투영이다"는 단순한 수학적 명제가 아니라, 세상을 인식하는 방식이다$^{[22]}$:
1. **인식은 투영이다**: 인간이 세상을 인식하는 과정은 본질적으로 외부 세계의 복잡한 정보를 유한한 인식 기저(Cognitive Basis)에 투영하는 것이다. 우리가 보는 것은 "실제 세계 그 자체"가 아니라, 인식 기저 위로의 실제 세계의 투영 계수이다.
2. **직교는 독립이다**: 두 개념이 직교할 때, 이들은 서로 간섭하지 않고 중첩되지 않음을 의미한다. 직교 분해는 복잡한 문제를 단순화하는 궁극적인 무기이다 — 복잡한 시스템을 상호 관련 없는 독립 모듈로 분해하는 것.
3. **투영은 결정이다**: 최소제곱법은 정확한 해가 존재하지 않을 때 투영을 구하는 것이 최적의 선택임을 보여준다. 완벽한 해결책이 불가능할 때, 실행 가능 영역 위로의 직교 투영이 최적의 결정이다.
4. **기저의 선택이 모든 것을 결정한다**: 푸리에가 사인파를 기저로 선택하고, 웨이블릿이 컴팩트 서포트 함수를 기저로 선택하며, Transformer가 학습 가능한 어텐션 기저를 선택한다 — 어떤 기저를 선택하느냐에 따라 어떤 세상을 볼 수 있는지가 결정된다.
### 종국적 사색 (Final Reflection)
내적은 단순한 수학 연산이 아니라, 미시와 거시, 연속과 이산, 결정론과 확률론을 연결하는 **메타 언어(Meta-Language)** 이다. 피타고라스 정리에서 양자 얽힘까지, 최소제곱법에서 대규모 언어 모델까지, 내적은 그 간결하고도 심오한 형태로 인간 지식 체계의 모든 구석을 통일한다.
---
## 부록 본문 그림 생성 코드 (Appendix: Code for Generating Figures in This Paper)
본문의 다섯 가지 그림(코사인 유사도 히트맵, 최소제곱 투영, 푸리에 분해, 컨볼루션 정합 필터, Sobel 에지 검출)은 모두 main.py에서 통합 생성된다. 이 스크립트는 Python의 과학 계산 생태계(NumPy, SciPy, Matplotlib)를 기반으로 하며, "내적"이라는 핵심 주제를 중심으로 본문의 추상적인 수학 개념을 직관적인 시각화 그래픽으로 변환한다.
스크립트의 핵심 설계思路는 다음과 같다:
1. **코사인 유사도**: `cosine_similarity()` 함수를 통해 단어 임베딩 벡터 간의 정규화된 내적을 계산하여 $5 \times 5$ 히트맵 행렬을 생성. 이 함수는 공식 (1.5)의 코사인 유사도 정의를 구현한다.
2. **최소제곱법**: `np.linalg.lstsq`를 사용하여 정규 방정식 $A^T A \hat{x} = A^T b$(정리 3.1)를 풀며, 본질적으로 관측 벡터를 모델 공간에 직교 투영한다.
3. **푸리에 분해**: FFT를 통해 시간 영역 신호를 주파수 기저에 투영하며(정리 6.1), 스펙트럼의 각 피크는 주파수 성분의 내적 계수에 대응한다.
4. **컨볼루션과 정합 필터**: 컨볼루션을 슬라이딩 내적 연산(정의 8.1)으로 간주하고, 템플릿과 신호의 점별 내적으로 펄스 위치를 검출한다.
5. **Sobel 에지 검출**: 2차원 컨볼루션 커널과 이미지의 내적(예제 8.2)을 계산하여 각 픽셀에서의 그라데이션 크기를 구한다.
다음은 스크립트에서 코사인 유사도 히트맵을 생성하는 핵심 코드 조각이다:
def cosine_similarity(vec_a: np.ndarray, vec_b: np.ndarray) -> float:
dot_product = float(np.dot(vec_a, vec_b))
norm_a = np.linalg.norm(vec_a)
norm_b = np.linalg.norm(vec_b)
return dot_product / (norm_a * norm_b)
def build_semantic_demo() -> tuple[list[str], dict[str, np.ndarray], np.ndarray]:
tokens = ["king", "queen", "man", "woman", "apple"]
embeddings = {
"king": np.array([0.92, 0.10, 0.78, 0.25, 0.60]),
"queen": np.array([0.90, 0.12, 0.80, 0.30, 0.63]),
"man": np.array([0.88, 0.18, 0.40, 0.22, 0.35]),
"woman": np.array([0.86, 0.22, 0.42, 0.28, 0.38]),
"apple": np.array([0.05, 0.95, 0.08, 0.87, 0.10]),
}
matrix = np.array(
[[cosine_similarity(embeddings[left], embeddings[right]) for right in tokens] for left in tokens]
)
return tokens, embeddings, matrix
전체 코드는 main.py를 참조하라.
## 참고 문헌 (References)
[1] Wikipedia contributors. (2026, April 28). Dot product. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:42, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Dot_product&oldid=1351567929.
[2] Wikipedia contributors. (2025, November 3). Orthogonal complement. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:43, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Orthogonal_complement&oldid=1320174088.
[3] Wikipedia contributors. (2025, July 7). Orthogonalization. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:44, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Orthogonalization&oldid=1299273509.
[4] Wikipedia contributors. (2025, September 1). Orthogonal functions. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:46, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Orthogonal_functions&oldid=1308940353.
[5] Wikipedia contributors. (2026, March 13). Least squares. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:46, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Least_squares&oldid=1343263636.
[6] Wikipedia contributors. (2026, May 23). Hilbert space. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:47, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Hilbert_space&oldid=1355759876.
[7] 卷积、内积、互相关概念. CSDN博客, 2024. https://blog.csdn.net/qq_31073871/article/details/146475191.
[8] Wikipedia contributors. (2026, February 27). Inner product space. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:51, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Inner_product_space&oldid=1340828148.
[9] 内积和外积[G/OL]. OI Wiki, 2025. https://oi-wiki.org/math/linear-algebra/product/.
[10] 维基百科编者. 内积[G/OL]. 维基百科, 2025(20250703)[2025-07-03]. https://zh.wikipedia.org/w/index.php?title=%E5%86%85%E7%A7%AF&oldid=88045564.
[11] Wikipedia contributors. (2026, April 24). Fourier series. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:55, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Fourier_series&oldid=1350934101.
[12] Wikipedia contributors. (2026, May 20). Fourier transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:55, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Fourier_transform&oldid=1355147665.
[13] Wikipedia contributors. (2026, May 17). Cosine similarity. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:56, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Cosine_similarity&oldid=1354643579.
[14] Wikipedia contributors. (2026, May 11). Laplace transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:56, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Laplace_transform&oldid=1353668445.
[15] Wikipedia contributors. (2026, May 8). Z-transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:57, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Z-transform&oldid=1353129057.
[16] Wikipedia contributors. (2025, June 1). Frequency domain. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:57, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Frequency_domain&oldid=1293464779.
[17] Wikipedia contributors. (2026, May 20). Convolution. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:57, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Convolution&oldid=1355143781.
[18] Wikipedia contributors. (2026, April 25). Discrete cosine transform. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:58, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Discrete_cosine_transform&oldid=1350947997.
[19] Wikipedia contributors. (2026, May 19). JPEG. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:58, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=JPEG&oldid=1355030069.
[20] Wikipedia contributors. (2026, April 29). Wavelet. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:58, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Wavelet&oldid=1351640900.
[21] Wikipedia contributors. (2026, March 22). Word embedding. In _Wikipedia, The Free Encyclopedia_. Retrieved 11:59, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Word_embedding&oldid=1344811356.
[22] Wikipedia contributors. (2025, November 24). Kernel method. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:00, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Kernel_method&oldid=1323912764.
[23] Wikipedia contributors. (2026, April 19). Support vector machine. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:00, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Support_vector_machine&oldid=1350010737.
[24] Wikipedia contributors. (2026, May 23). Cluster analysis. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:00, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Cluster_analysis&oldid=1355672094.
[25] Wikipedia contributors. (2026, April 8). Regression analysis. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:01, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Regression_analysis&oldid=1347668389.
[26] Wikipedia contributors. (2026, May 22). Quantum mechanics. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:01, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Quantum_mechanics&oldid=1355584024.
[27] Wikipedia contributors. (2026, May 20). Uncertainty principle. In _Wikipedia, The Free Encyclopedia_. Retrieved 12:01, May 24, 2026, from https://en.wikipedia.org/w/index.php?title=Uncertainty_principle&oldid=1355179215.
Comments NOTHING