从花季护航看内容过滤技术的发展

发布时间：2009-07-06

随着“绿坝—花季护航”软件大规模安装的展开，“内容过滤”正在成为热门话题。从现有技术来看，要实现内容精确过滤还有些难点尚难克服，但人类既然发明了互联网，就有能力驾驭互联网。透过花季护航软件，我们可以看到内容过滤技术发展的基本脉络。

内容过滤的分类

所谓内容过滤就是就是在网络的不同地点部署访问策略，通过一定的技术手段，根据对内容合法性的判断来禁止用户访问不良内容。家长不想让孩子沉溺在网络游戏当中；老板不希望员工在上班时间浏览娱乐新闻；政府不允许任何人传播浏览反动和色情信息，这些需求都在内容过滤的范畴之内。

按照过滤位置不同，可以将内容过滤划分为以下几种：

服务器端过滤

系统可以综合使用搜索技术，个人评价、监视和数据库更新等方法，通过采用高速的机器和高效的过滤机制，以取得良好的性能。这一级的过滤比较安全，但是，由于过滤方式灵活性较差，很难满足用户的个性化需求，同时在管理和维护支持上的化费较高，而且在很大程度上也会降低网络的效率。

客户端过滤

可以采用一种或结合多种技术来完成，常用的有IP数据包过滤、URL过滤和关键词过滤。这种过滤不仅可以针对IP地址和网址进行过滤，还可以对从lntelnet上下载的文章进行关键词匹配过滤。和服务器端的安全过滤相比，客户端过滤可以给用户更大的灵活性(自定义关键词和IP／uRL列表)。但是这一级过滤的可靠性较差，并且其过滤的速度、性能以及IP／URL和关键词数据库的动态更新等问题部不能得到很好的保证。

互联网骨干内容过滤

内容过滤除了在个人电脑和企业网络中的应用，在互联网骨干上也可以实现相同的功能。互联网骨干的主要任务是在保证可连通性的同时，尽可能快速地提供数据交换通道，这就要求网络结构和配置尽可能简单。属于网络高层应用的内容过滤本来不应该在互联网骨干上部署实施。但是，出于国家安全的需要，对一些网站还是需要进行屏蔽。电信运营商在互联网骨干上使用的内容过滤技术主要是DNS过滤和IP地址过滤；互联网骨干DNS服务器拒绝解析指定URL列表;通过ACL拒绝到指定IP地址的连接。这些手段轻微地影响互联网性能，但是技术和现实中也是可以实现和接受的。

库的动态更新等问题部不能得到很好的保证。

内容过滤的方法

分级过滤

分级过滤是根据网页的内容属性或其他特征，并按照一定的分级标准，建立网站的分级标记，分级标记可以附存网页上，也可以保存存文件或数据库中，使用时以分级标记为过滤的依据，与过滤模板进行比较，或通过浏览器的安全设置选项实现分级过滤。 IE中的“内容分级审查”便具有这样的功能，可以通过“工具\Internet选项\内容\分级审查\允许”开启这项功能

名单过滤(IP／URL过滤)

lP过滤是通过网络硬件(如路由器)的数据包过滤机制审查数据包的源lP地址和目标lP地址是否与访问控制列表的某条过滤规则匹配，以决定是否转发或丢弃； URL过滤是最普通、最有效的过滤方式，它提供比lP过滤更精细的过滤粒度，通过网络建立不良网站的URL列表数据库(黑名单和白名单)，并对这些数据库进行定期的更新，当用户访问这些页面时，将这些页面的URL与数据库列表中的进行匹配，以决定是否给予阻断或封锁。

关键词过滤

关键词过滤是通过对网页的扫描．检查网页内容中是否包含有预设的关键词，如果有就禁止该网页内容。通常情况下．该种方式采用文本内容或文档的元数据与预设关键词进行简单匹配或者逻辑运算的方法进行。但是，由于网页时常还会出现关键词变形的情况，如同音字词、字词顺序颠倒、字词中插入其他字符串等．这些变形后的关键词是不能通过常规的简单匹配或者逻辑运算来实现有效过滤的。因此，就需要采用通过计算关键词的匹配相关度或关键词中字之间的位置差等方法来完成对变形后的关键词的过滤。

基于内容的过滤

该种方式通常以文本特征提取和语义理解为基础，通过采用人工智能技术，如自然语言理解、机器学习、神经网络、等技术，来完成对文本的内容分析、特征提取和语义理解，以实现更高性能、更好质量的智能化的网络信息安全过滤。

技术难点及趋势

从上述过滤手段来看，它们都受制于内容分类的效率和准确性。如何提高内容分类的效率和准确性，是各个厂商钻研的难题。

实际上，每个月都有超过100万个新注册的网站出现在互联网上，也就是说互联网是变化的，这种变化是永不停息的。我们不可能把所有的网站和网页都进行归类并放在数据库当中，这样的话，这个数据库的规模将会远远超过实际应用中硬件平台性能所能承受的最大限制。其次，每个人浏览习惯不同，这就涉及一个个性化的问题。为了对这些访问进行控制和过滤，内容过滤产品本身还要具有一定的智能，能够自动分析归类这些网站的内容，并对用户的访问进行过滤。这样的分析结果应该保留在访问者的本地内容过滤设备上，而不是上传同步到所有的用户。

基于内容的过滤将成为未来的主导方向

由大正语言知识处理科技有限公司开发的“花季护航”上网软件即采用基于内容的过滤方法。它采用我国自主创新的ＨＮＣ“自然语言理解处理＋网址过滤技术”，突破了传统的以地址库和关键词过滤等技术的被动过滤方式，能够主动对互联网信息内容进行识别和语义分析，进行褒贬义并做出智能判断，能够过滤包括加密传输、通过QQ、MSN等聊天工具发送的信息、邮件收发、计算机短信收发中的不良信息。同时，软件还可以实现远程动态自动升级，并能够及时根据国家有关部门的需求，对于某些突发的或特定范围的信息进行有效过滤。家庭和学校使用这个软件，可化被动为主动，即可过滤网络不良信息，又可有效支配、控制、引导青少年上网行为。

同时，花季护航与不良网址库、关键词库、知识库、图像特征库等数据库交互，依据这些数据库判断相关的网址是否为不良网址，相关的文本是否含有不良关键词或不良文本。绿色上网软件除具有获取、识别并过滤含有不良信息的网址、文本、图像、视频、等主要功能外，还具备应用程序管理、时间管理等辅助过滤功能以及权限管理、日志管理、软件升级和帮助等功能，既保证了互联网内容的安全性，又提供个体自主选择性，将是广大青少年绿色上网的绝佳选择。

原始新闻存档（大正官网）：https://web.archive.org/web/20100718202603/http://hncit.com/news0120090706.html