随着计算机技术的蓬勃发展和创新,互联网技术早已深入到了我们生活的方方面面,“互联网+”的概念悄然兴起,已成为各行业发展的“新常态”。2017年1月,中国互联网络信息中心(CNNIC)公布了第39次全国互联网发展统计报告,报告显示,截至2016年12月,我国网民规模已达7.31亿,手机网民规模达6.95亿,较2015年底增长7550万人。移动互联网使用人数持续增多,网络数据的爆发式增长仍未停歇,如何处理对这些大数据进而挖掘其潜在规律和应用价值,越来越受到各行各业的重视。在如今这个时代,数据是信息世界里最有价值的资产,而大数据是信息技术产业的又一次重大技术变革,具有里程碑式的意义,可以预见的是,大数据将越来越多的在各领域产生巨大影响,为该领域发展开拓一条新的道路。从CPU内部指令集间的指令传输到人类的火星探测工程,通信成了信息时代最基本的元素,数据的产生离不开各种各样的通信行为,物联网和移动互联网的飞速发展,使得通信所产生的数据更加多样化,如何准确、快速从天量网络数据中挖掘出用户的通信行为信息,找出并总结其通信行为特点,从而为网络管理、网络监控、设备的策略管理提供帮助成了值得关注的问题,需要注意的是,这里所研究的用户“通信行为”,不仅仅是“人”的,也可以是智能设备、网络终端、虚拟环境等一切可以产生通信行为的“客体”的行为。在这种背景下,本文针对目前大数据的发展趋势,学习研究目前流行的大数据处理架构,确定使用Hadoop分布式架构作为系统的基础平台,并比较各种通信行为分析模式,以了解掌握整个网络环境下各类用户通信行为为目标,深入研究TCP/IP参考模型的各层各类网络协议,针对用户的通联关系、通信规律、常规网络行为等方面,结合Hadoop分布式处理存储技术和网络协议重组还原技术,研究设计并实现了一套通信行为分析的大数据处理系统,实现在大数据中重组还原所需协议并找出相关通联信息等功能,并对网络通联情况、协议使用情况、网站浏览情况、邮件收发情况等网络通信元数据进行统计,实现对整体网络通信情况的掌握,也可针对需要的特定用户、特定通信行为进行分析,了解其通信行为,掌握其通信规律。本系统旨在为网络管理者提供更为详实准确的网络通信行为信息,帮助网络管理者在大数据背景下更好的监督网络通信行为,为科学高效的网络管理模式提供坚实有力的保障。