论文部分内容阅读
随着网络技术的发展,社交网络、互联网金融、物联网等诸多相关应用领域快速崛起。上述应用每天都会产生海量数据；这些数据中除少量非实时的静态数据,更多的是具有实时特性的流数据。对于海量流数据的信息提取问题,利用传统的分布式批处理学习方法已很难解决。因此,本文致力于研究流数据的分布式实时在线学习问题。本文针对分布式在线学习问题,提出了基于交替方向乘子法(ADMM)的同步分布式在线学习算法(oDM)与异步分布式在线学习算法(aoDM)。首先,针对分布式在线学习需要各节点根据新采集的数据来更新本地估计,同时保持网络中所有节点的估计趋于一致这一问题,建立了数学模型并设计同步算法oDM与异步算法aoDM进行求解。其次,针对分布式在线学习问题定义了同步与异步情况下的Regret界,用以刻画在线学习与批处理学习所带来的目标函数的差异。其中,对于同步算法oDM,本文证明了当本地即时损失函数是凸函数且函数次梯度有界时,算法具有O((?)T)的Regret界和O((?)T/T)的收敛速度；当本地即时损失函数是强凸函数且函数次梯度有界时,算法具有O(logT)的Regret界和O(log T/T)的收敛速度。对于异步算法aoDM,本文证明了当定义域是紧集且函数利普希茨连续时,算法具有O(1)的Regret界和O(1/T)的收敛速度。最后,通过数值实验,证明了分布式在线学习算法oDM与aoDM的有效性。