近年来,深度学习得到了许多学者的广泛关注与研究,并在诸多领域取得了巨大的成功。随着对深度学习技术的深入研究,深度学习模型的规模逐渐增大,同时,网络中的数据量呈指数增长,为深度学习模型提供了大量的训练数据。然而,利用庞大的数据集对大规模的深度学习模型进行训练,需要消耗大量的计算资源和训练时间。随着网络技术和分布式优化理论的发展,很多集中式算法难以解决的大规模优化问题可以通过多台计算机相互协作共同完成。因此,深度学习模型的训练可以转化成分布式优化问题来解决。为了减少计算资源的消耗和训练时间,如何设计高效的分布式优化算法对深度学习的发展至关重要。为高效处理约束优化问题并减少计算资源的消耗,本文主要围绕深度学习的分布式在线优化算法展开研究。基于条件梯度(Frank-Wolfe)技术,分别提出两种新颖的分布式在线无投影优化算法:基于随机块坐标的分布式在线无投影优化算法和基于事件驱动的分布式在线无投影优化算法。主要研究内容如下。针对基于条件梯度的分布式在线无投影算法在处理高维数据时计算量过大的问题,本文将随机块坐标算法和Frank-Wolfe技术相结合,提出了一种基于随机块坐标的分布式在线无投影算法。该算法在每次迭代过程中只需要从(次)梯度向量的分量中随机地选择它们的子集进行更新,能够减少每次迭代过程中的计算量。通过详细的理论分析,证明了所提算法的收敛性,且当局部目标函数是凸函数时,算法的后悔上界为O(T~1/2)。仿真实验验证了所提算法在不同的网络拓扑下的收敛性以及不同节点个数的收敛性。针对基于条件梯度的分布式在线无投影算法因频繁通信导致通信开销过大,本文提出了一种基于事件驱动的分布式在线无投影算法。在该算法中,网络中每个计算设备的当前状态与最后一次驱动状态之间的离差存在一个阈值,只有当离差大于该阈值时设备之间才进行通信,否则不通信。通过有效控制设备之间的通信次数,减少通信开销。采用严格的数学推导证明了算法的收敛性,当局部目标函数是凸函数时,算法能达到O(T~1/2)的后悔上界。本文针对现有的分布式在线优化算法计算量大和通讯开销大的问题,分别提出了基于随机块坐标的分布式在线无投影算法和基于事件驱动的分布式在线无投影算法,相关成果对分布式在线无投影算法的优化研究具有重要的参考价值。