能否将深度学习和传统机器学习相结合，先用标签训练深度神经网络，将最后一层输出特征作为如svm的输入？

这个问题实际上在很早之前就已经有使用了，这里就是把深度学习当作一个特征提取器。2014年的RCNN做目标检测，用CNN提取滑窗内图像的特征，使用SVM对该特征进行分类。

实际上之后的很多任务/工作，都是拿深度学习做特征提取器，或者就是所谓的backbone，后面不再用传统机器学习的方法，改成一些与任务相关的深度学习方法。