线性代数

从点积到内积空间：藏在线性代数、信号与AI背后的同一套语言 摘要 内积（Inner Product）是线性代数、泛函分析、信号处理、机器学习与量子力学中共用的核心代数结构。本文以"内积"为唯一主线，从有限维欧几里得空间中的点积出发，依次引入内积空间公理、正交分解、最小二乘投影、希尔伯特空间、傅里叶级数与变换、卷积、离散余弦变换、小波分析、自注意力机制、核方法以及量子力学中的态矢量投影，揭示这些看似分属不同学科的概念在数学结构上的统一性：定义内积 → 建立正交基 → 投影分解 → 提取信息。本文旨在为读者提供一张贯穿数学、工程与物理的认知图谱。 前言 万物皆投影 数学与工程科学中存在着一个反复出现的模式：将一个复杂对象分解为若干"基本成分"的线性组合，而分解的工具正是投影（projection）。投影操作的本质是内积——一种度量"相似性"的二元运算。从傅里叶分析中将信号分解为不同频率的正弦波，到最小二乘法中寻找数据的最佳拟...

3.5 子空间、基底、维度和秩 (Subspaces, Basis, Dimension, and Rank) 至此，矩阵的基础代数运算已告一段落。从本节开始，我们将视角从“代数计算”切换到“几何空间”，深入探讨矩阵与向量空间之间的深刻联系。 让我们从一个直观的几何现象出发：在三维空间 $\mathbb{R}^3$ 中，想象一个通过原点的平面。直觉告诉我们这个平面是“二维”的，因为在这个平面内，任意向量的加法和标量乘法结果都会被“锁”在这个面内，形成一个封闭的运算体系。这就引出了一个问题，这个平面上的向量，究竟是二维还是三维物体？ 它们身处 $\mathbb{R}^3$ 之中，拥有三个坐标分量；但它们的活动范围却被严格限制在一个二维平面内。 为了在代数上精确刻画这种“身处高维空间，却自成一个低维封闭体系”的现象，我们正式引入本章的核心概念——子空间 $\text{(Subspace)}$。 ```ad-definition title:定义：子空间 $\text{(Subspace)}$ 设 $S$ 是 $\mathbb{R}^n$ 中的一个非空...