【摘 要】
:
近些年AI技术越来越热,尤其是深度学习领域乘着大数据的浪潮飞速发展,文本分类是目前很多企业占比较重的业务,应用场景非常广泛,使用深度学习模型进行文本分类用途很广。但是
论文部分内容阅读
近些年AI技术越来越热,尤其是深度学习领域乘着大数据的浪潮飞速发展,文本分类是目前很多企业占比较重的业务,应用场景非常广泛,使用深度学习模型进行文本分类用途很广。但是训练深度学习网络是一个非常耗时的过程,因此充分利用集群的资源进行分布式并行训练非常重要。但是类似于MapReduce以及Spark这样非常流行的分布式计算框架却不支持分布式深度学习工作中密集的网络IO和异步调用,所以本文实现了一套分布式深度学习文本分类器系统,该系统用于分布式文本分类器的创建以及在Spark集群中进行分布式深度网络模型训练和分类工作,用户还可以将自己的单机深度网络模型运行在本系统中进行分布式训练和并行分类,减少模型开发成本。本论文将主要针对分布式文本分类器的实现和分布式文本分类的深度学习模型在Spark分布式计算平台上的运行方案进行研究和探索,主要工作内容如下:(1)实现了基于Spark的深度学习文本分类器系统。分布式文本分类器的运行依赖于底层应用程序和Spark集群的调度,所以将其作为一个系统来实现。该系统可以创建文本分类器,使文本分类器进行分布式训练和分类。用户可以通过该平台的Web界面进行分布式分类器的创建、训练和分类等操作。实现的分布式深度学习系统可以支持分类器模型在Spark集群上的分布式训练和并行分类工作,该深度学习文本分类器系统还实现了多种的分布式训练需要的并行算法供用户选择。(2)实现了单机文本分类深度学习模型简单移植到Spark分布式环境的解决方案。目前在自然语言处理领域已经有很多优秀的深度学习模型,用户可以基于各种深度学习框架实现这些模型,或者提出自己的深度学习模型,为了方便用户将已有的单机模式下的深度学习模型在Spark上工作,本文提出了一套供用户移植的解决方案,用户只需要基于该方案实现特定方法,在深度学习运行平台上创建模型后就可以在Spark环境中进行工作。(3)实现了两个常用的文本分类的分布式深度学习文本分类器。为了使用户能够在Spark集群环境下进行文本分类等需要深度学习模型的工作,论文实现了两个分布式文本分类模型,这些模型将经典模型移植到分布式环境下,可以基于Spark集群进行并行工作,使用的就是系统实现的移植方案。本文中的基于Spark的深度学习文本分类器系统能够胜任一些公司的文本分类需求,也为用户提供了一种将模型分布式并行化运行的可行方案。
其他文献
微尺度下的相变强化换热一直是微电子领域散热的研究热点,而微通道内气液两相流流型和压降分析是微流动系统设计和控制的基础。本文以矩形突扩微通道为研究对象,通过测量实验、流型可视化实验及数值模拟的研究方法,对矩形突扩微通道内两相流的流动特性进行了分析研究,综合考虑两相流动过程中压降的影响因素,建立了考虑影响因素更为全面的压降预测模型。通过测量实验,对矩形突扩微通道内压降组成(摩擦压降、突扩压降及突缩压降
专注度是专注于相关环境刺激的能力,是儿童进行观察、思维、记忆、想象等其它智力活动的基础,是影响学习效率的主观因素之一。随着教育的不断发展,越来越多的人了解到大部分
本文对黔北瓮坪村经济转型的研究,基于对作物的变迁、农民的身份以及企业的介入作为分析和探讨的三个路径,并从时间和空间两个维度作为自然与人文因素概述的历史文化背景。文
双切换系统是一类特殊混杂系统,其动态轨迹同时受确定性切换信号和随机切换信号的影响。近年来,双切换系统已应用于风力发电、网络控制等具有复杂切换特性系统的工程领域中,一些学者针对双切换系统的稳定性分析展开了深入研究。然而,一方面由于双切换信号与多个子系统之间相互作用使得双切换系统稳定性问题变得错综复杂,另一方面由于双切换系统受到各种随机噪声和不确定性因素的影响,对于双切换系统的稳定性分析和控制器设计变
三维建模在智慧城市管理、历史文化遗产保护和地质灾害应急救援等领域应用广泛。随着测绘科学技术与设备制造业的发展,基于多源数据的三维数据融合建模产业呈现出欣欣向荣的局面。倾斜摄影测量和三维激光扫描作为常见的空间数据采集方式,在生产中应用越来越广。在三维建模的多源数据融合算法研究中,由于受到多源数据自身异源异构和数据量大等数据特性的限制,导致多源数据融合算法在三维建模过程中效率低且效果不佳。基于倾斜摄影
近几年,我国铝产量在逐步增长,各行业越来越追求装备轻量化,铝合金的使用场景愈来愈广。因此在这种社会环境下,行业对铝合金制备工艺的设计研发工作提出更高的要求。计算机的模拟仿真技术可以促进工艺的开发,提高设计师的工作效率。随着新的数值模拟分析软件的不断开发与升级,模型和算法得到了进一步优化。不过数值模拟的可靠性仍然是一个需要不断反复验证的工作。Al-Si合金常用的铸造方法是砂型铸造和特种铸造。对于ZL
遥感图像检测是计算机视觉任务中一个重要的研究课题,是大场景目标检测最典型的例子,在海域安全监测、港口船舶检测、运动目标追踪等方面都有着重要作用。随着目标检测技术的发展,越来越多新的检测方法在各领域内展现出了其优越性。目标检测技术应用在遥感船舶检测任务中,不仅促进了遥感图像识别中问题的解决,而且能在实际应用中对目标检测技术有新的突破。本文在这方面主要完成了以下工作:(1)针对遥感图像中云雾遮挡、岸基
社会发展的进步,对教育事业提出更高的要求。为了顺应时代的发展,教育改革在不断进行,2017年提出的《普通高中化学课程标准》中,明确指出要关注学生个性化、多样化的学习和发展需求,促进学生全面而有个性的发展,因此隐性分层教学的优势得以显现。由于家庭背景以及社会经验的差异,使学生之间的差距有所扩大,同一班级内的学生学习兴趣、学习能力和学习习惯有所不同,传统的教学模式已不能满足全体学生发展的需求,而隐性分
汽车仪表板总成是汽车内饰中最为重要的组件之一,同时它的结构和制造工艺也是最为复杂的组件之一。汽车仪表板在设计过程中不仅要注重它的美观性,还需要考虑其功能性、舒适性
随着社会的发展及科技的进步化石能源的使用也与日俱增,化石能源的开采造成了大量的土壤原油污染。原油污染的土壤中含有大量的致癌致畸成分,对人们的健康及收入造成极大的影