论文部分内容阅读
信息过滤技术的基本范畴
所谓信息过滤即信息的选择性传播。信息过滤关注受众的长期需求，是为非结构化及半结构化的数据设计的，其目标是帮助用户处理大量的信息，对动态的信息流进行筛选，排除用户不希望得到的信息，基于用户概型(profile)从输入的信息流中过滤掉的数据。作为面向Intenet的个性化主动信息服务的一个重要中间环节，信息过滤技术近年来在信息的处理体系中应用得越来越广泛。
信息过滤技术基本分为两大类：一种是基于内容的信息过滤(Content-based Fil-tering)；另一种是基于合作的信息过滤(Collabora-tive Filtering，又叫协同过滤或社会过滤)。
基于内容的信息过滤通过用户模型(user profile)来描述用户的信息需求，将新获取的信息与用户模型进行相似度计算，主动将相似度高的信息提供给用户。这种过滤技术已经比较成熟，使用也相对较广，它的主要缺点在于：随着信息的剧增，效率和质量会降低；使用过程中难以发现新的感兴趣的信息；一旦过滤方法选择错误，后果将很严重。基于写作的过滤技术根据人的判断为用户过滤信息，它使用多个用户的只是预测单个用户的偏好根据相同或相近兴趣的用户对应信息做出评价，向其用户进行推荐。由于不依赖于内容，这种模式不仅适用于文本格式，也可以适用于非文本介质的资源，如视频、音频等。其优点在于能为用户发现新的感兴趣的信息，但是，它也存在两个致命的缺陷：一是稀疏性问题，即在系统使用初期，由于系统资源还未获取足够的评价，系统很难利用这些评价来发现相似的用户。另一缺陷是系统可扩展性，即随着系统用户和信息资源的增多，系统的性能会下降。
从技术层面来看，信息过滤技术更多关注的是信息受众在获取信息资源的过程中，为了全面、准确、方便、快捷地得到自己感兴趣的信息所使用的一种技术手段。而之所以需要这种技术手段主要有以下几方面的原因：
信息量的急剧膨胀。导致信息的获取难度加大。随着信息化进程的加快，存储在网络中的信息裂变式的爆炸，大量相同或相似信息的发布使人们对信息资源的准确查询变得非常困难，因此客观上需要有这么一种能够过滤掉与用户兴趣需求不相符的信息，以供用户选择。
网络信息污染严重，受众客观上需要这种信息过滤技术来抵制信息侵害、排除干扰。网络的虚拟性为各种信息垃圾的发布与传播提供了方便，大量不良信息的存在不仅严重污染了网络生态环境，也给受众正常的网络生活造成了侵害，因此，受众迫切需要诸如信息过滤技术等高水平的信息分流手段，以便不受网络信息污染的危害。
网络信息管理失控，建设网络生态迫切需要从源头上对信息进行过滤。作为网络信息传播的主管单位，政府有责任做好网络世界的公共管理服务，为广大民众提供健康的、和谐的、有价值的信息资源。为此，政府必须从信息发布的源头上把好信息质量关，担当好“守门人”角色，这就需要运用信息过滤技术等技术手段，通过拒绝不良信息发布，跟踪不良信息发布源，依法处理不良信息发布者，从而真正有效地管理网络信息。
国内外基于信息过滤技术的网络治污研究现状
信息污染已经成为全世界共同关注的社会公害，网络所链接的每一个受众都是信息污染的直接受害者。因此，世界各国对于信息污染问题都给予了高度的关注，都非常重视网络信息污染的治理。在充分认识到网络信息污染的危害的背景下，世界各国首先想到的是利用法律的手段来维系网络世界的纯洁与有序。美国学者通过对网络信息污染的研究，给政府提供了许多决策咨议，最后极大推动了美国国会通过CDA条例。尽管这一条例最终被联邦法院裁决为无效，但它对促进其他各国的网络信息管理功不可没。1996年2月，德国政府内阁通过了《信息2000报告》，制定了全国统一的多媒体法，消灭Internet的不法和有害内容。同年，新加坡也制定了专门的法律对网络传输的内容进行了规定，不准传播黄色信息和对本国文化、社会稳定造成不安的信息等。随着信息化进程的加快，网络信息污染的日益严重，使各国都清楚地认识到单纯依靠现实世界的管理手段无法驾驭网络，因此，各国专家学者纷纷研究以技术对抗技术的网络管理策略。
国内学者对信息污染问题的研究较早，研究内容主要集中在信息污染的定义、表现形式、成因、危害以及对策等方面，但多偏重于学理研究，且内容重复现象严重，概念混乱，可操作性方法研究较少。因此，我国网络信息污染研究迫切需要建立起科学的预警检测系统，迫切需要加快构建信息污染指标体系的研究，加强信道控制研究，加大力度研究国外信息污染治理的成功经验，学习和借鉴国外的先进经验和技术，加强网络立法研究，以及提高网络伦理素养途径的研究。近年来，国内许多学者逐渐把研究的中心转移到网络信息治污的技术上来，尤其是借鉴国外的先进理念，把信息过滤技术引人网络信息管理领域，逐渐在摸索信息过滤技术的网络信息污染治理策略。如山东理工大学石岩对信息过滤技术模型的研究。江西蓝天学院姚磊岳、熊建英等对基于中文分词算法的信息过滤技术的研究提出了许多非常有价值的技术设想。而中国科学院声学研究所黄曾婊先生潜心研究十几年最终开发出的HNC网络信息职能过滤器具备了立场判断、内容审查的功能，使计算机能识别和处理人的语言，率先在世界上突破了立场判定难关，使中国网络信息过滤技术达到了国际先进水平。
信息过滤技术的网络治污价值
正是基于受众对治理网络信息污染的迫切需要，信息过滤技术对于治理网络信息污染的意义才尤为重要。
首先，信息过滤技术在治理网络信息污染过程中的应用，将有利于政府对网络信息准入的宏观管理。便于政府从源头上净化网络环境。以HNC研究院开发的网络信息职能过滤器进出口监控系统(HNC-XF4)为例，如果全国全部的互联网国家级出口都安装了该系统，将能够有效监控有害信息，跟踪重点对象，并及时发现问题，采取相应应对措施。最为重要的是，能够极大地维护国家的信息安全，从源头上杜绝进出国内外的各种不良信息。
其次，信息过滤技术的应用将有利于保障局域网络不受其他信息的侵害。确保本网局域内的信息安全。信息过滤技术的开发与应用将能够通过对信息内容的语意分析，辨别信息的属性与类别，分辨信息的危害等级，确定信息的污染指数，从而自动采取应对措施，帮助用户及时规避不良信息的侵害，规避网络病毒的入侵，过滤用户不需要的信息。
再次，信息过滤技术的开发与应用将极大地降低网络信息使用的成本，为社会节约资源。近年来，信息污染表面上看主要表现在对现实生活的价值观和道德底线的挑战上，但从经济学的角度来看，大量冗余信息、虚假信息、错误信息、污秽信息的存在加大了对有用信息的检索难度，也大大降低了信息的可信度，因而导致了人们对信息使用的效率低下。而信息过滤技术的开发与应用将从源头上阻挡一大部分不良信息，从而减轻网络传递的负担，也提高了信息资源的使用效益。
(程艳林、庞燕均为浙江大学传媒技术硕士、浙江万里学院文化与传播学院助教)
编校：张红玲
所谓信息过滤即信息的选择性传播。信息过滤关注受众的长期需求，是为非结构化及半结构化的数据设计的，其目标是帮助用户处理大量的信息，对动态的信息流进行筛选，排除用户不希望得到的信息，基于用户概型(profile)从输入的信息流中过滤掉的数据。作为面向Intenet的个性化主动信息服务的一个重要中间环节，信息过滤技术近年来在信息的处理体系中应用得越来越广泛。
信息过滤技术基本分为两大类：一种是基于内容的信息过滤(Content-based Fil-tering)；另一种是基于合作的信息过滤(Collabora-tive Filtering，又叫协同过滤或社会过滤)。
基于内容的信息过滤通过用户模型(user profile)来描述用户的信息需求，将新获取的信息与用户模型进行相似度计算，主动将相似度高的信息提供给用户。这种过滤技术已经比较成熟，使用也相对较广，它的主要缺点在于：随着信息的剧增，效率和质量会降低；使用过程中难以发现新的感兴趣的信息；一旦过滤方法选择错误，后果将很严重。基于写作的过滤技术根据人的判断为用户过滤信息，它使用多个用户的只是预测单个用户的偏好根据相同或相近兴趣的用户对应信息做出评价，向其用户进行推荐。由于不依赖于内容，这种模式不仅适用于文本格式，也可以适用于非文本介质的资源，如视频、音频等。其优点在于能为用户发现新的感兴趣的信息，但是，它也存在两个致命的缺陷：一是稀疏性问题，即在系统使用初期，由于系统资源还未获取足够的评价，系统很难利用这些评价来发现相似的用户。另一缺陷是系统可扩展性，即随着系统用户和信息资源的增多，系统的性能会下降。
从技术层面来看，信息过滤技术更多关注的是信息受众在获取信息资源的过程中，为了全面、准确、方便、快捷地得到自己感兴趣的信息所使用的一种技术手段。而之所以需要这种技术手段主要有以下几方面的原因：
信息量的急剧膨胀。导致信息的获取难度加大。随着信息化进程的加快，存储在网络中的信息裂变式的爆炸，大量相同或相似信息的发布使人们对信息资源的准确查询变得非常困难，因此客观上需要有这么一种能够过滤掉与用户兴趣需求不相符的信息，以供用户选择。
网络信息污染严重，受众客观上需要这种信息过滤技术来抵制信息侵害、排除干扰。网络的虚拟性为各种信息垃圾的发布与传播提供了方便，大量不良信息的存在不仅严重污染了网络生态环境，也给受众正常的网络生活造成了侵害，因此，受众迫切需要诸如信息过滤技术等高水平的信息分流手段，以便不受网络信息污染的危害。
网络信息管理失控，建设网络生态迫切需要从源头上对信息进行过滤。作为网络信息传播的主管单位，政府有责任做好网络世界的公共管理服务，为广大民众提供健康的、和谐的、有价值的信息资源。为此，政府必须从信息发布的源头上把好信息质量关，担当好“守门人”角色，这就需要运用信息过滤技术等技术手段，通过拒绝不良信息发布，跟踪不良信息发布源，依法处理不良信息发布者，从而真正有效地管理网络信息。
国内外基于信息过滤技术的网络治污研究现状
信息污染已经成为全世界共同关注的社会公害，网络所链接的每一个受众都是信息污染的直接受害者。因此，世界各国对于信息污染问题都给予了高度的关注，都非常重视网络信息污染的治理。在充分认识到网络信息污染的危害的背景下，世界各国首先想到的是利用法律的手段来维系网络世界的纯洁与有序。美国学者通过对网络信息污染的研究，给政府提供了许多决策咨议，最后极大推动了美国国会通过CDA条例。尽管这一条例最终被联邦法院裁决为无效，但它对促进其他各国的网络信息管理功不可没。1996年2月，德国政府内阁通过了《信息2000报告》，制定了全国统一的多媒体法，消灭Internet的不法和有害内容。同年，新加坡也制定了专门的法律对网络传输的内容进行了规定，不准传播黄色信息和对本国文化、社会稳定造成不安的信息等。随着信息化进程的加快，网络信息污染的日益严重，使各国都清楚地认识到单纯依靠现实世界的管理手段无法驾驭网络，因此，各国专家学者纷纷研究以技术对抗技术的网络管理策略。
国内学者对信息污染问题的研究较早，研究内容主要集中在信息污染的定义、表现形式、成因、危害以及对策等方面，但多偏重于学理研究，且内容重复现象严重，概念混乱，可操作性方法研究较少。因此，我国网络信息污染研究迫切需要建立起科学的预警检测系统，迫切需要加快构建信息污染指标体系的研究，加强信道控制研究，加大力度研究国外信息污染治理的成功经验，学习和借鉴国外的先进经验和技术，加强网络立法研究，以及提高网络伦理素养途径的研究。近年来，国内许多学者逐渐把研究的中心转移到网络信息治污的技术上来，尤其是借鉴国外的先进理念，把信息过滤技术引人网络信息管理领域，逐渐在摸索信息过滤技术的网络信息污染治理策略。如山东理工大学石岩对信息过滤技术模型的研究。江西蓝天学院姚磊岳、熊建英等对基于中文分词算法的信息过滤技术的研究提出了许多非常有价值的技术设想。而中国科学院声学研究所黄曾婊先生潜心研究十几年最终开发出的HNC网络信息职能过滤器具备了立场判断、内容审查的功能，使计算机能识别和处理人的语言，率先在世界上突破了立场判定难关，使中国网络信息过滤技术达到了国际先进水平。
信息过滤技术的网络治污价值
正是基于受众对治理网络信息污染的迫切需要，信息过滤技术对于治理网络信息污染的意义才尤为重要。
首先，信息过滤技术在治理网络信息污染过程中的应用，将有利于政府对网络信息准入的宏观管理。便于政府从源头上净化网络环境。以HNC研究院开发的网络信息职能过滤器进出口监控系统(HNC-XF4)为例，如果全国全部的互联网国家级出口都安装了该系统，将能够有效监控有害信息，跟踪重点对象，并及时发现问题，采取相应应对措施。最为重要的是，能够极大地维护国家的信息安全，从源头上杜绝进出国内外的各种不良信息。
其次，信息过滤技术的应用将有利于保障局域网络不受其他信息的侵害。确保本网局域内的信息安全。信息过滤技术的开发与应用将能够通过对信息内容的语意分析，辨别信息的属性与类别，分辨信息的危害等级，确定信息的污染指数，从而自动采取应对措施，帮助用户及时规避不良信息的侵害，规避网络病毒的入侵，过滤用户不需要的信息。
再次，信息过滤技术的开发与应用将极大地降低网络信息使用的成本，为社会节约资源。近年来，信息污染表面上看主要表现在对现实生活的价值观和道德底线的挑战上，但从经济学的角度来看，大量冗余信息、虚假信息、错误信息、污秽信息的存在加大了对有用信息的检索难度，也大大降低了信息的可信度，因而导致了人们对信息使用的效率低下。而信息过滤技术的开发与应用将从源头上阻挡一大部分不良信息，从而减轻网络传递的负担，也提高了信息资源的使用效益。
(程艳林、庞燕均为浙江大学传媒技术硕士、浙江万里学院文化与传播学院助教)
编校：张红玲