深度学习中的优化与可扩展性研究

深度神经网络在计算机视觉、机器学习和人工智能等领域的经验成功已经有目共睹，但一个理论上的疑问始终悬着：表达能力理论上说存在好的参数，可优化过程能不能真的把这样的参数找出来？Kenji Kawaguchi 在 MIT 的博士论文《On Optimization and Scalability in Deep Learning》讨论的正是这个落差。论文指出，表达能力理论只保证某些规模的网络存在逼近目标函数的最优参数向量，却并不保证在优化过程中能高效地找到它；而学习本身恰恰是通过优化参数、使网络与数据一致来完成的。这个问题在今天依然值得关注：深度学习的实践规模在扩大，而对非凸优化能否扩展、在什么条件下扩展的回答，直接关系到我们对训练结果的预期。

论文的研究范围覆盖多种深度神经网络架构的非凸优化，切入点是可扩展性上的若干根本瓶颈，摘要中点明的是次优局部极小值（suboptimal local minima）与鞍点（saddle points）。方法上以理论证明为主：为局部极小值和临界点的取值给出保证，也为梯度下降实际找到的点给出保证；同时论文提到，在过参数化之外的结论上，还做了理论与经验两方面的工作。换句话说，它并不打算提出一个新的训练算法，而是试图刻画“在什么架构、什么规模、什么条件下，优化过程的结果可以被说清楚”。

关键发现的第一条关于过参数化。论文证明，实践量级上的轻度过参数化（mild over-parameterization of practical degrees）就足以保证梯度下降在深度神经网络的非凸优化中找到全局最小值。这是一个有条件的保证，条件落在参数数量上，而不是落在对架构的强假设上。第二条发现则相反方向地拓展了适用范围：即使没有过参数化，论文也从理论和实验两方面表明，增加参数数量会把临界点和局部极小值的取值推向全局最小值。这意味着参数更多不只是让模型容量变大，按论文的结论，它还改善了优化落点的质量。

第三条发现针对特定架构：论文为残差神经网络（residual neural networks）的局部极小值取值给出了理论保证。第四条则试图把上述针对具体架构的结果统一起来，提出一个分析各类深度神经网络临界点与局部极小值的统一理论。把这几条放在一起看，论文的论证结构是先从过参数化这一最强条件出发，再逐步放松到不过参数化、到残差网络、再到一般架构，最后汇成一个更一般的分析框架。需要说明的是，材料只给出了这些结论的定性表述，没有提供具体的收敛速率、参数规模阈值或实验数据，因此这些保证的强度无法从手头材料进一步量化。

这些结论的意义在于重新框定“可扩展性”这个问题。论文的原话是：在理论最坏情况和最坏架构下确实存在可扩展性问题，但对于实践中各种有用的架构和大规模问题，我们可以避开这个问题并扩展得很好。换句话说，非凸优化在一般情况下不可扩展这一经典判断，并不自动适用于实践中真正使用的那些架构。对做训练实践的人来说，这个结论提供的是一种有条件的信心：参数规模的增加在论文分析的架构上不会让优化变糟，反而可能改善临界点的取值。当然，这是理论保证所支持的解读，不等于对任意架构、任意任务的普适承诺。

这份资料适合对深度学习优化理论感兴趣的读者，尤其是关心非凸优化、过参数化、残差网络分析这些方向的研究者与研究生；读完可以拿走的是一套关于“优化结果能被保证到什么程度”的问题地图，以及若干条针对具体架构的明确结论。它的边界也需要点明：论证以理论保证为主，材料中没有给出可与实践直接对照的定量指标；结论依赖架构假设，论文自己也承认最坏架构下问题依然存在。此外，材料只呈现了摘要层面的内容，各章节的具体证明与实验细节不在其中，读者若要把结论用于具体场景，仍需回到论文正文核对条件。

On Optimization and Scalability in Deep Learning by Kenji Kawaguchi Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of Doctor of Philosophy in Computer Science at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY September 2020 c© Massachusetts Institute of Technology 2020. All rights reserved. Author .............................................................. Department of Electrical Engineering and Computer Science July 16, 2020 Certified by.......................................................... Leslie P. Kaelbling Professor of Electrical Engineering and Computer Science Thesis Supervisor Accepted by......................................................... Leslie A. Kolodziejski Professor of Electrical Engineering and Computer Science Chair, Department Committee on Graduate Students