【斯坦福博士论文】迈向用于序列建模的结构化智能

学习——无论对人还是对机器——都是在观测之上搜寻能够解释它们的假说。这个过程受制于我们假设空间中所嵌入的先验、偏置与归纳假设。在本论文中，我们探究如何通过引入恰当的结构来引导机器在序列建模任务中的学习。我们首先考察一个真实世界问题：利用自由生活（free-living）条件下的连续血糖监测（CGM）数据建模血糖控制。通过将机理性生理模型融入学习过程，我们据以约束假设空间，使之反映人体调节血糖的机理，从而得到对血糖调控可解释且具有临床意义的表征。随后，我们转向通用序列建模，研究两种通过记忆引入结构的方法：其一，将多分辨率记忆作为归纳偏置，以捕捉序列数据中常见的层次化模式，并由此构建一类以小波理论为基础、参数高效的神经网络；其二，给出一个用于理解与推导现代神经序列模型（如softmax 注意力与状态空间模型）的统一框架，把它们视为实现联想记忆与检索的隐式算法。总体而言，本文朝着用于序列建模的结构化智能迈出一步，展示了无论源自领域知识还是记忆机制的基于原理的架构设计，都能带来更可解释且更有效的模型。