【博士论文】深度预测学习问题与方法研究

深度预测学习问题与方法研究

随着移动互联网、传感器网络、计算机视觉的快速发展，人们获得了海量的 时空数据。本文面向这类数据的时间与空间结构特性，系统研究基于神经网络的 深度预测学习方法。该方法旨在学习时空序列背后的演变规律，并对其未来状态 给出近似估计。本文讨论深度预测学习的以下难点问题：（1）如何在对时空相关 性的统一建模中考虑层次化的深度网络特征；（2）如何缓解循环网络深度和梯度 消失的矛盾，平衡短期与长期的时空特征；（3）针对各种确定性时空数据，研究 如何建模其复杂的趋势非平稳过程与季节性变化；（4）针对开放视觉环境中的感 知不确定性和动态不确定性，研究如何解决概率预测模型的可信度问题；（5）如 何促进深度预测学习特征向下游语义级的有监督任务泛化。围绕这些问题，本文 的研究过程可分为以下三个阶段，呈递进关系，每个阶段包含 2-3 个创新点：

第一阶段，本文探索深度预测学习的基础网络结构。针对难点（1），研究基于 循环网络的记忆状态跨层转移方法，实现了时间记忆状态与多层空间特征的融合；在此基础上，针对难点（2），本文研究如何在延长循环网络的记忆状态转移路径 的同时，延缓该路径上的反向梯度消失。

第二阶段，本文根据传统时间序列分析中的 Cramér 分解理论[1]，分别从时空 信号的非平稳性、季节性和随机性的角度出发，针对难点（3-4）研究相应的深度 预测学习方法。这些方法依次适用于存在固有动力学模式但趋势信息相对复杂的 确定性时空数据（如短时雷达回波序列）、季节性时空数据（如交通流量序列）和 从部分可见的环境中采集的时空数据（如带有噪声的视频片段）。

第三阶段，本文在数据级的时空序列预测任务的基础上更进一步，从时序关 系推理的角度出发，再度审视深度预测学习的特征表达。针对难点（5），本文在 循环网络的状态转移方程中分别引入三维卷积算子和可微分的记忆状态读写机制， 旨在同时促进模型对短期时空特征的感知和对长期语义关系的推理。实验表明，这 些改进对预测模型的任务泛化大有裨益，进而说明了面向时空数据的深度预测学 习是一种有效的无监督表征学习框架。

此外，本文还设计了一套名为 PredLearn 的模型库，从系统实现的角度对上述 创新性方法及其特点和适用范围进行了整理、归纳和对比，以便用户可以根据具 体的场景特性合理选择模型。最后，本文以灾害天气短时临近预报作为一种典型 的应用案例，介绍如何实现从本文方法到实际业务平台的技术转化。