面向嵌套式物联网大数据的实时处理技术研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:cnm008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,物联网技术和应用得到了快速发展,实时处理物联网设备产生的海量数据对于提升数据价值密度,快速响应业务事件具有重要意义。物联网终端设备众多,产生的数据经过复杂且不稳定的网络,可能会有乱序情形,针对乱序数据的数据分析和查询结果会出现错误,影响业务决策。此外,随着智能终端的发展,嵌套式结构逐渐成为物联网数据的常见格式,设计嵌套式数据存储与查询方法,提升数据检索速度是需要关注的问题。基于上述分析,本文针对特定的top-k连续查询以及嵌套式数据存储查询方法开展研究,主要研究内容如下:1、针对乱序流下的top-k连续查询结果不准确的问题,提出了一种面向高速乱序流的top-k连续查询方法,该方法首先提出了一种缓存时长自适应算法,缓解了缓存时长与查询正确率的矛盾,进一步地,对Min Topk查询算法进行改造,使其适应缓存时长自适应算法。实验结果表明,该方法可以在保证给定top-k查询正确率的前提下,减少缓存时长。与不使用缓存的Min Topk方法相比,平均正确率可以提升近50%。2、物联网系统产生大量的嵌套式数据,针对如何组织嵌套式数据和如何提升嵌套式数据检索速度的问题,基于通用分布式数据库HBase提出了一种嵌套式数据存储方法,通过对嵌套式数据的检索需求分析,对HBase进行表结构设计并构建二级索引。实验结果表明,该方法在保证实时写入效率的前提下,可以快速进行数据检索。3、在上述研究基础上,设计和实现了面向嵌套式物联网大数据的实时处理系统,介绍了top-k连续查询模块和嵌套式数据存储的具体实现方法。
其他文献
随着人工智能的崛起,人机交互操作系统已经在很多领域广泛应用,尤其是要求精准度和高危的领域,例如:空中交通管理系统,飞机驾驶系统和深海潜行系统等。操作人员在执行任务时需要具备良好的工作状态,分析脑力负荷水平,可以判断其脑力负荷状态,保证人员安全和任务有效执行。因此通过判断操作人员脑力负荷状态并对其进行准确辨识很有意义。常用的脑力负荷辨识方法是基于脑电信号(electroencephalogram,E
近年来,随着深度学习的发展,其在各个领域都应用广泛。但在实际中,深度学习仍存在许多问题。首先获取一个性能良好的深度学习模型需要大规模的标记样本对其进行训练,但是给样本做标注的过程既浪费时间又浪费劳动力。其次,深度学习模型使用当前场景下的数据进行训练和测试的效果较好,但是当测试数据与训练数据存在分布差异时,深度学习模型的泛化能力明显下降。这就导致要花费大量人力物力重新标注样本,并对模型再次进行训练。
圆周扫描地基SAR是将机载圆迹SAR模式引入地基平台的一种新体制地基SAR,与传统的直线轨道地基SAR相比,其具有三维成像能力、单次数据采集时间短、滑坡监测时效性强等优势。近年来,研制具备三维成像能力的地基SAR系统已成为一个国际研究热点。作为一种全新的地基SAR模型,圆周扫描地基SAR仍处于刚起步的阶段。目前,国际上已经验证了利用该模式三维成像的可行性,但其三维成像质量与实际应用中的成像质量要求
计算机技术发展以来,人机交互成为了计算机领域主要研究的内容之一。随着人工智能技术的快速发展,越来越多的人机交互成果被使用在生活中,同时驱动着机器视觉中与人脸相关的大量研究与应用,人脸表情是其中重要的组成部分。生成对抗网络(GANs)自2014年提出,被广泛应用在文本、图像等领域。学者们利用其优秀的生成能力进行人脸研究并且取得一些成果。但是近几年的研究发现,GANs在有限样本的情况下容易产生欠拟合,
光纤预警系统(Optical Fiber Pre-warning System,OFPS)是一种铺设于管道周围、利用分布式光纤传感的预警系统,因具备稳定且精确度较高的特点,被广泛应用于检测管道泄露、人为或机械等入侵行为。OFPS在检测到信号入侵后,识别部分可以通过算法判断入侵信号的类型,依据信号的危险程度采取不同的手段及时止损。目前,在OFPS领域已经有很多成熟的检测与识别算法,但如何判断振动信号
在工业生产中普遍存在时间序列样本不平衡的问题,即正常情况下的样本数量远远大于异常情况下的样本数量。在电解铝行业中这个问题更加的明显,因为在工业生产中发现异常样本是非常困难的,专家没有一个明确的准则来判断异常。近年来,生成对抗网络(GANs)在异常检测领域越来越流行,在本文中,我们利用生成对抗网络(GANs)能够对复杂的高维图像分布进行建模的能力,提出了一种基于输入样本自适应改变的对抗自编码器生成对
云计算作为一种信息处理基础设施模式和商业模式,逐步得到广泛认可。云服务的执行离不开服务执行环境所提供的计算资源和数据支撑。数据及其负载作为服务执行环境的重要支撑,同样也影响着服务质量。在数据负载不断出现波动的时候,服务执行环境的稳定是确保服务质量的关键一环。为确保服务执行环境的稳定,基于数据负载趋势并主动调配资源是目前较为流行的系统管理方法。本文以提高服务质量为目标,基于数据负载的多维度特征,进行
随着三维点云数据被应用到越来越多的领域,如何快速、准确地识别三维点云物体逐渐成为研究的重点之一,尤其是自动驾驶这种对物体识别的实时性有较高要求的领域。由于点云具有非结构化、分布不均匀等特点,传统的深度学习网络不易直接处理。而且,庞大的网络参数和复杂的网络结构也影响着深度学习网络的运行效率。宽度学习系统虽然克服了网络运行速度较慢的问题,但其在三维点云物体识别领域的研究较少,且宽度学习系统也无法直接处
随着社会和科技的发展,人们对时间序列等数据的研究日渐深入,然而现实中的时间序列多有几种基本成分复合而成,直接对其使用单一模型进行预测,预测精度难以提高。本文研究的数据来自风云3号A星的中分辨率光谱成像仪(MERSI)的定标参数时间序列,此时间序列在长时间段上呈现上升趋势,同时短时间内又有周期性变化,同时还含有噪声。本文先鉴于集合经验模态分解(EEMD)和Seasonal-Trend decompo
音乐相似度检测是音乐信息检索领域的一个重要分支,对于辅助鉴定音乐抄袭以及其他基于音乐内容的检索、审查有积极作用。准确而且适当的音乐特征提取对于提高音乐信息检索的效率具有重要意义。音乐相似度的含义较为丰富,音乐之间相似性可以归纳为情感相似、乐理特征相似、流派相似等。在翻唱、抄袭检测的应用场景中,应当侧重比对音乐内容、乐理特征的相似。现有音乐相似度检测方法主要有两个问题:一、音乐主旋律及其他音乐特征提