论文部分内容阅读
摘要： 随着Internet技术和网络业务的发展，网络在日常生活和各类工作中已经是不可或缺的重要的组成部分，对网络各种流量进行分类监控，以便及时发现并控制网络上的各种异常行为，已经成为保障网络正常运行的关键之处。通过对边界防火墙获取运行终端的所有流量数据进行分析与研究，本文提出的基于边界防火墙异常流量特征库的自动提醒与加固等安全措施，实现了桌面终端信息安全的自动化管理，从而降低网络信息安全风险，提高公司信息运行管理能力。
关键词：防火墙;网络流量;网络异常;加固
Automatic reminder and reinforcement prevention based on abnormal traffic signature database of
border firewall
Li Youqun 1，Gong Guchu 2， Zhou Jiufang2
（1. State Grid Hunan Provincial Power Co.， Ltd. Changde Power Supply Branch Changde 415000，China ）
Abstract： With the development of Internet technology and network services， the network has become an indispensable and important part of daily life and various types of work. It classifies and monitors various network traffic in order to detect and control various abnormalities on the network in time Behavior has become the key to ensuring the normal operation of the network.By analyzing and researching all the traffic data obtained by the boundary firewall and running the terminal， this paper proposes security measures such as automatic reminding and reinforcement based on the abnormal traffic signature database of the boundary firewall to realize the automatic management of the desktop terminal information security， thereby reducing the network information security Risk， improve the company’s information operation and management capabilities.
Key words： firewall; network traffic; network anomaly; reinforcement
0前言
網络边界是所有信息系统进行业务来往的大门，作为内部网络与外部网络之间的第一道屏障，防火墙起着至关重要的作用。由于被部署在网络边界而被称为
边界防火墙。防火墙是防范网络攻击最常用的方法，它主要是主机、路由器、策略的集合，其作用是禁止或允许对受保护网络的访问。利用防火墙技术，然后经过相应的配置，通常能够在内外网之间提供安全的网络保护，降低网络安全的风险【1】。然而，随着Internet信息技术的高速发展以及计算机系统在各行各业的广泛应用，这样加剧了人们关于网络安全担忧，也给网络安全带来了巨大的威胁。如今，互联网中存在大量的网络故障、滥用、攻击等会带来恶意后果的异常行为，这些行为往往会在网络流量中体现出来，其中诸如蠕虫（Worm），端口扫描（Port scans），拒绝服务攻击等异常情况在网络流量中更是常见。这些异常往往会浪费网络资源，导致网络设备和终端主机的性能下降，甚至引起涉及到大量网络用户的安全问题。鉴于此，准确并快速地检测这些异常行为，并对其采取相应的安全措施显得尤为重要。
1系统实现
1.1 项目需求
随着我国进入了信息化时代以来，企业运营效率得到了飞速的提升，业务量也随之大幅提高，由此导致了数据传输规模的不断增加。数据类型多样化、数据来源的复杂化和数据传输的突发性等特点愈发明显。对于以互联网为主要通信渠道的各企业而言，以数据异常流量为代表的各种系统问题日益增多，网络攻击与非法访问行为层出不穷，导致网络通信出现种种异常与故障，且排查定位效率低下，给企业信息与通信系统的运维工作造成了很大的困难。因此，采取有效措施，对网络异常流量的检测方法进行改进与优化，提高检测的准确性、可靠性和稳定性，具有十分重要的意义。
1.2 系统设计原理与生成
1.2.1系统部署总体架构
网络活动一旦发生，也就意味着数据流量的产生，为有效提高安全生产信息保障能力，这就需要设计一款系统架构以便于及时获取到数据并进行实时分析，对于异常行为，及时采取相应安全措施保障网络安全运行。因此，为保证系统稳定运行和后续运维工作进行，该系统架构是在多台虚拟机上进行，并部署了相应的物理服务器，操作系统为 CentOS-7 系统。
1.2.2软件设计架构图
该系统的软件架构图可以分为两部分，第一部分包含流量采集层、流量转发层、消息持久层、实时分析层四个模块;第二部分主要包含数据存储层。 1.2.3各层的主要功能
网络流量数据包被探针的 Snort Preprocessor（预处理）插件解析成约定的文本格式并送入队列中（生产者），然后再由另一个线程（pthread）取出并使用 Socket 发出（消费者）。通过内存的分配和释放，在网络流量瞬时增大时可以暂存解析后的文本，最大限度避免造成网络堵塞，以及 Socket Server 的波动效应。流量转发层 & 消息持久层包括Socket Server 和 Apache Kafka 集群两个部分， Socket Server 接收数据之后会以平稳的速率转发给 Kafka 集群。Socket Server 中也有一个超大的基于内存实现的同步队列（Concurrent Queue）这也是避免给下游的 Kafka 集群造成性能波动上的保险。实时分析层采用 Apache Storm 流式计算框架实现，在架构上采用了 2 Nimbus（包含 1 woker， 1冗余） + 5 Supervisor（包含 4 woker， 1 冗余） 的方式。数据持久层包括 MySQL 服务器（1），ElasticSearch 集群（3），Redis 緩存（1）。MySQL 和 ES 是用来存储永久数据的，Storm 分析集群不直接访问 MySQL 数据库，而是通过 Redis + 本地缓存的形式来保证自身的高性能。
2 功能实现
流量探针设备流量探针主要负责对网络流量的镜像流量进行采集并还原，还原后的流量日志会加密传输给天眼分析平台。流量探针通过对网络流量进行解码还原出真实流量，提取网络层、传输层和应用层的头部信息，甚至是重要负载信息，这些信息将通过加密通道传送到分析平台进行统一处理。流量探针在IPv4/IPv6网络环境下，支持 HTTP （网页）、SMTP/POP3（邮件）等主流协议的高性能分析。
同时，流量探针内置的威胁检测进程serverids，可检测多种网络协议中的攻击行为，提供ids、webids、webshell、威胁情报多种维度的告警展示，可检测如多种网络应用、木马、广告、exploit等多种网络攻击行为，也可检测如sql注入、跨站、webshell、命令执行、文件包含等多种web攻击行为，内置的webshell沙箱可以精准检测php后门并记录相关信息，拥有威胁情报实时匹配能力，能发现恶意软件、APT事件等威胁，产生的多种告警都会加密，并传输给天眼分析平台进行统一分析管理。
天眼分析平台用于存储流量探针提交的流量日志、告警日志;其次天眼分析平台不仅可对所有数据进行快速的处理并为检索提供支持，还能将存储的日志与威胁情报进行碰撞，以及进行日志关联性分析产生告警，并能在4K的屏幕上展示威胁态势;此外天眼分析平台支持对告警进行深度分析，支持以告警字段进行狩猎分析及可视化展示，以攻击链的视角还原告警中的受害主机被攻击的整个过程;最后，对于判定为威胁事件的告警，分析平台提供自定义编排流程进行相应的处置指令下发。
分析平台承担对所有数据进行存储、预处理和检索的工作，由于传统关系型数据库在面对大量数据存储时经常出现性能不足导致查询相关数据缓慢，天眼分析平台底层的数据检索模块采用了分布式计算和搜索引擎技术对所有数据进行处理，可通过多台设备建立集群以保证存储空间和计算能力的供应。结合全包存储系统，分析平台可以实现针对精确告警的全包取证分析和自定义数据包分析能力。
威胁情报威胁情报来自安全厂商云端的分析成果，可对APT攻击、新型木马、特种免杀木马进行规则化描述。安全厂商依托于云端的海量数据，通过基于人工智能自学习的自动化数据处理技术，依靠以顶尖研究资源为基础的多个安全研究实验室为未知威胁的最终确认提供专业高水平的技术支撑，所有大数据分析出的未知威胁都会通过专业的人员进行人工干预，做到精细分析，确认攻击手段、攻击对象以及攻击的目的，通过人工智能结合大数据知识以及攻击者的多个维度特征还原出攻击者的全貌，包括程序形态，不同编码风格和不同攻击原理的同源木马程序，恶意服务器（C&C）等，通过全貌特征‘跟踪’攻击者，持续的发现未知威胁，最终确保发现的未知威胁的准确性，并生成了可供天眼系统使用的威胁情报。
3 结果与结论
本文设计了提出了一种多源安流量志采集方法。在流量源采集方面，采用标准的Syslog协议，对Linux和Windows主机日志，Apache、Weblogic、IIS、Tomcat、Nginx等主流Web服务访问日志，以及交换机和防火墙等网络设备流量和网络行为流量等多源异构日志的进行统一采集;在流量源控制方面，采用访问控制技术，能够在不影响其他日志源采集的条件下，动态新增、删除和修改日志源配置;在采集方法上，采用集群式架构设计，当一个采集节点出现故障或性能出现瓶颈时，能够动态调配负载，保障海量流量数据采集的可靠性和实时性。在数据的存储上，将安全日志同时存储至Hbase（一种分布式开源数据库）数据库和ES（Elastic Search，一种分布式开源搜索引擎）索引中，分析层从传输层将取网络数据，机型结构化解析并对数据进行：备案预警、异常端口预警，频繁访问预警，以小时为单位进行服务器热度统计，全流量存储流量数据等五个方面的分析。分析结果将会进行持久化用于 web 展示，相比传统的定时人工扫描，优势较大。
参考文献：
[1]Nicira Inc.; Patent Issued for Using Headerspace Analysis To Identify Unneeded Distributed Firewall Rules （USPTO 10，708，231）[J]. Network Weekly News，2020.
[2]徐松，姚燕妮，刘奕奕，周涛.湖南电网实物ID建设及应用[J].湖南电力，2019，39（02）：65-68.
[3]黄吉兰.二维条码QRCode编码原理及实现[J].电脑知识与技术，2013，9（12）：2904-2908.
[4]张宇，王映辉，张翔南.基于Spring的MVC框架设计与实现[J].计算机工程，2010，36（04）：59-62.
[5]刘香利. 基于RESTful/HTTP的网络管理接口定义方法和通知机制设计[D].北京邮电大学，2019.
[6]陈玛玲.电力设备巡视中的问题分析和策略[J].科技与创新，2017（14）：55-56.
关键词：防火墙;网络流量;网络异常;加固
Automatic reminder and reinforcement prevention based on abnormal traffic signature database of
border firewall
Li Youqun 1，Gong Guchu 2， Zhou Jiufang2
（1. State Grid Hunan Provincial Power Co.， Ltd. Changde Power Supply Branch Changde 415000，China ）
Abstract： With the development of Internet technology and network services， the network has become an indispensable and important part of daily life and various types of work. It classifies and monitors various network traffic in order to detect and control various abnormalities on the network in time Behavior has become the key to ensuring the normal operation of the network.By analyzing and researching all the traffic data obtained by the boundary firewall and running the terminal， this paper proposes security measures such as automatic reminding and reinforcement based on the abnormal traffic signature database of the boundary firewall to realize the automatic management of the desktop terminal information security， thereby reducing the network information security Risk， improve the company’s information operation and management capabilities.
Key words： firewall; network traffic; network anomaly; reinforcement
0前言
網络边界是所有信息系统进行业务来往的大门，作为内部网络与外部网络之间的第一道屏障，防火墙起着至关重要的作用。由于被部署在网络边界而被称为
边界防火墙。防火墙是防范网络攻击最常用的方法，它主要是主机、路由器、策略的集合，其作用是禁止或允许对受保护网络的访问。利用防火墙技术，然后经过相应的配置，通常能够在内外网之间提供安全的网络保护，降低网络安全的风险【1】。然而，随着Internet信息技术的高速发展以及计算机系统在各行各业的广泛应用，这样加剧了人们关于网络安全担忧，也给网络安全带来了巨大的威胁。如今，互联网中存在大量的网络故障、滥用、攻击等会带来恶意后果的异常行为，这些行为往往会在网络流量中体现出来，其中诸如蠕虫（Worm），端口扫描（Port scans），拒绝服务攻击等异常情况在网络流量中更是常见。这些异常往往会浪费网络资源，导致网络设备和终端主机的性能下降，甚至引起涉及到大量网络用户的安全问题。鉴于此，准确并快速地检测这些异常行为，并对其采取相应的安全措施显得尤为重要。
1系统实现
1.1 项目需求
随着我国进入了信息化时代以来，企业运营效率得到了飞速的提升，业务量也随之大幅提高，由此导致了数据传输规模的不断增加。数据类型多样化、数据来源的复杂化和数据传输的突发性等特点愈发明显。对于以互联网为主要通信渠道的各企业而言，以数据异常流量为代表的各种系统问题日益增多，网络攻击与非法访问行为层出不穷，导致网络通信出现种种异常与故障，且排查定位效率低下，给企业信息与通信系统的运维工作造成了很大的困难。因此，采取有效措施，对网络异常流量的检测方法进行改进与优化，提高检测的准确性、可靠性和稳定性，具有十分重要的意义。
1.2 系统设计原理与生成
1.2.1系统部署总体架构
网络活动一旦发生，也就意味着数据流量的产生，为有效提高安全生产信息保障能力，这就需要设计一款系统架构以便于及时获取到数据并进行实时分析，对于异常行为，及时采取相应安全措施保障网络安全运行。因此，为保证系统稳定运行和后续运维工作进行，该系统架构是在多台虚拟机上进行，并部署了相应的物理服务器，操作系统为 CentOS-7 系统。
1.2.2软件设计架构图
该系统的软件架构图可以分为两部分，第一部分包含流量采集层、流量转发层、消息持久层、实时分析层四个模块;第二部分主要包含数据存储层。 1.2.3各层的主要功能
网络流量数据包被探针的 Snort Preprocessor（预处理）插件解析成约定的文本格式并送入队列中（生产者），然后再由另一个线程（pthread）取出并使用 Socket 发出（消费者）。通过内存的分配和释放，在网络流量瞬时增大时可以暂存解析后的文本，最大限度避免造成网络堵塞，以及 Socket Server 的波动效应。流量转发层 & 消息持久层包括Socket Server 和 Apache Kafka 集群两个部分， Socket Server 接收数据之后会以平稳的速率转发给 Kafka 集群。Socket Server 中也有一个超大的基于内存实现的同步队列（Concurrent Queue）这也是避免给下游的 Kafka 集群造成性能波动上的保险。实时分析层采用 Apache Storm 流式计算框架实现，在架构上采用了 2 Nimbus（包含 1 woker， 1冗余） + 5 Supervisor（包含 4 woker， 1 冗余） 的方式。数据持久层包括 MySQL 服务器（1），ElasticSearch 集群（3），Redis 緩存（1）。MySQL 和 ES 是用来存储永久数据的，Storm 分析集群不直接访问 MySQL 数据库，而是通过 Redis + 本地缓存的形式来保证自身的高性能。
2 功能实现
流量探针设备流量探针主要负责对网络流量的镜像流量进行采集并还原，还原后的流量日志会加密传输给天眼分析平台。流量探针通过对网络流量进行解码还原出真实流量，提取网络层、传输层和应用层的头部信息，甚至是重要负载信息，这些信息将通过加密通道传送到分析平台进行统一处理。流量探针在IPv4/IPv6网络环境下，支持 HTTP （网页）、SMTP/POP3（邮件）等主流协议的高性能分析。
同时，流量探针内置的威胁检测进程serverids，可检测多种网络协议中的攻击行为，提供ids、webids、webshell、威胁情报多种维度的告警展示，可检测如多种网络应用、木马、广告、exploit等多种网络攻击行为，也可检测如sql注入、跨站、webshell、命令执行、文件包含等多种web攻击行为，内置的webshell沙箱可以精准检测php后门并记录相关信息，拥有威胁情报实时匹配能力，能发现恶意软件、APT事件等威胁，产生的多种告警都会加密，并传输给天眼分析平台进行统一分析管理。
天眼分析平台用于存储流量探针提交的流量日志、告警日志;其次天眼分析平台不仅可对所有数据进行快速的处理并为检索提供支持，还能将存储的日志与威胁情报进行碰撞，以及进行日志关联性分析产生告警，并能在4K的屏幕上展示威胁态势;此外天眼分析平台支持对告警进行深度分析，支持以告警字段进行狩猎分析及可视化展示，以攻击链的视角还原告警中的受害主机被攻击的整个过程;最后，对于判定为威胁事件的告警，分析平台提供自定义编排流程进行相应的处置指令下发。
分析平台承担对所有数据进行存储、预处理和检索的工作，由于传统关系型数据库在面对大量数据存储时经常出现性能不足导致查询相关数据缓慢，天眼分析平台底层的数据检索模块采用了分布式计算和搜索引擎技术对所有数据进行处理，可通过多台设备建立集群以保证存储空间和计算能力的供应。结合全包存储系统，分析平台可以实现针对精确告警的全包取证分析和自定义数据包分析能力。
威胁情报威胁情报来自安全厂商云端的分析成果，可对APT攻击、新型木马、特种免杀木马进行规则化描述。安全厂商依托于云端的海量数据，通过基于人工智能自学习的自动化数据处理技术，依靠以顶尖研究资源为基础的多个安全研究实验室为未知威胁的最终确认提供专业高水平的技术支撑，所有大数据分析出的未知威胁都会通过专业的人员进行人工干预，做到精细分析，确认攻击手段、攻击对象以及攻击的目的，通过人工智能结合大数据知识以及攻击者的多个维度特征还原出攻击者的全貌，包括程序形态，不同编码风格和不同攻击原理的同源木马程序，恶意服务器（C&C）等，通过全貌特征‘跟踪’攻击者，持续的发现未知威胁，最终确保发现的未知威胁的准确性，并生成了可供天眼系统使用的威胁情报。
3 结果与结论
本文设计了提出了一种多源安流量志采集方法。在流量源采集方面，采用标准的Syslog协议，对Linux和Windows主机日志，Apache、Weblogic、IIS、Tomcat、Nginx等主流Web服务访问日志，以及交换机和防火墙等网络设备流量和网络行为流量等多源异构日志的进行统一采集;在流量源控制方面，采用访问控制技术，能够在不影响其他日志源采集的条件下，动态新增、删除和修改日志源配置;在采集方法上，采用集群式架构设计，当一个采集节点出现故障或性能出现瓶颈时，能够动态调配负载，保障海量流量数据采集的可靠性和实时性。在数据的存储上，将安全日志同时存储至Hbase（一种分布式开源数据库）数据库和ES（Elastic Search，一种分布式开源搜索引擎）索引中，分析层从传输层将取网络数据，机型结构化解析并对数据进行：备案预警、异常端口预警，频繁访问预警，以小时为单位进行服务器热度统计，全流量存储流量数据等五个方面的分析。分析结果将会进行持久化用于 web 展示，相比传统的定时人工扫描，优势较大。
参考文献：
[1]Nicira Inc.; Patent Issued for Using Headerspace Analysis To Identify Unneeded Distributed Firewall Rules （USPTO 10，708，231）[J]. Network Weekly News，2020.
[2]徐松，姚燕妮，刘奕奕，周涛.湖南电网实物ID建设及应用[J].湖南电力，2019，39（02）：65-68.
[3]黄吉兰.二维条码QRCode编码原理及实现[J].电脑知识与技术，2013，9（12）：2904-2908.
[4]张宇，王映辉，张翔南.基于Spring的MVC框架设计与实现[J].计算机工程，2010，36（04）：59-62.
[5]刘香利. 基于RESTful/HTTP的网络管理接口定义方法和通知机制设计[D].北京邮电大学，2019.
[6]陈玛玲.电力设备巡视中的问题分析和策略[J].科技与创新，2017（14）：55-56.