从线性代数到泛函分析：无限维向量机器学习与数学

希尔伯特空间 (Hilbert Space) 这个概念，可以说是 20 世纪初数学里最炸裂的进展之一！它不光给无限维向量空间打下了超级扎实的数学地基，更是直接催生了一个全新的、牛气冲天的数学分支，泛函分析 (Functional Analysis)。没有它，很多现代科学技术可能都寸步难行，比如量子力学、信号处理、机器学习等等。

下面，我们来看看数学家们是如何引入和玩转“无限维”向量的。

19 世纪末 20 世纪初，数学家们开始发现，光靠有限维的工具已经不够用了。他们遇到了一系列特别棘手的问题，这些问题都隐隐约约指向了一个共同的方向：得想办法处理那些“无限维度”的东西，比如函数或者无穷数列。

1. 有限维向量空间与线性代数：老规矩，先打好基础

到了 19 世纪末，维托·沃尔泰拉（Vito Volterra, 1860-1940）和埃里克·弗雷德霍姆（Erik Fredholm, 1866-1927）开始研究一种叫做积分方程的数学问题。特别是弗雷德霍姆，他居然能为某些积分方程建立一套解理论，这套理论跟我们解有限维线性方程组的思路惊人地相似！这可是个大突破。

5. 黎曼积分与勒贝格积分：给函数“称重”的新方法

伯恩哈德·黎曼（Bernhard Riemann, 1826-1866）的积分理论虽然重要，但在处理不连续函数和极限操作时还是有点力不从心。亨利·勒贝格（Henri Lebesgue, 1875-1941）提出的勒贝格积分理论，简直是给积分来了个“大升级”！它大大扩展了能积分的函数范围，而且在收敛性方面表现更好。这对于在函数空间里定义“长度”（范数）和“距离”（度量）简直是太重要了，没有它，后面希尔伯特空间里很多“几何”概念都玩不转。