论文部分内容阅读
随着物联网技术的发展和普及,水产养殖数据储备正在迅速膨胀,这对于水产养殖行业是机遇也是挑战。现有的水产养殖信息化平台都提供了较完备的数据展示、检索服务,但是数据间相互独立忽略了数据间的关系和价值,未达到价值最大化。为了更好地发挥水产养殖数据资源的价值,并解决水产养殖信息化程度低、数据处理效率低、养殖影响因素关联关系获取难的问题,本文设计了以Hadoop分布式架构为基础的智慧水产养殖系统。系统对水产养殖大数据进行存储,并通过方案并行化分析数据,生成多要素关系模型、预测数据变化趋势,最终向养殖、科研人员提供水产养殖相关的信息化服务。本文结合现流行的Hadoop大数据框架,根据水产养殖生产过程及行业特征设计了水产养殖大数据平台四层体系架构;针对水产养殖环境复杂、难以获取各水体要素之间的关联关系的问题,在水产养殖要素分析预测上利用具有强的非线性映射能力的前馈误差反向传播学习(BP神经网络)算法作为数据分析方法,解决水产养殖要素间复杂非线性关系的分析问题,并以此为基础提出养殖要素分析模型;同时引入基于可分辨矩阵的Johnson属性约简算法对传统算法进行优化,在保证精度一定的情况下,提高网络收敛速度;然后利用MapReduce分布式编程模型对BP神经网络算法进行并行化设计,实现水产养殖大数据平台的海量数据处理需求;并实例分析养殖要素分析模型和并行化学习算法,分别以山东省对虾年产量预测和水产养殖水质分类评价为例,进行了详细设计和结果分析;最终整合大数据架构设计与数据分析方法,搭建了高效、高容错的海量水产养殖数据管理、挖掘、可视化智慧水产养殖大数据系统。本文在研发中使用了优秀的软件开发技术,针对水产养殖生产需求,设计并实现了集数据存储、数据管理、养殖要素分析评价于一体的智慧水产养殖系统。系统模块经过测试,可提供水产养殖信息管理、养殖多要素预测分析和高效的批量水质评价,对于海量水产养殖数据管理和数据分析挖掘具有一定价值。