随着互联网在全球的推广与应用，以及我国信息化建设的深入，局域网用户对互联网信息的需求越来越多，随之而来的网络安全问题也日益突出。某些局域网，特别是对于某些安全性要求极高的部门局域网，是严格限制与互联网直接相连的。
国家保密局已于2000年发布了《计算机信息系统国际联网保密管理规定》，文件规定“涉及国家秘密的电脑信息系统，不得直接或间接地与国际互联网或其它公共信息网络相联接，必须实行物理隔离”。
这些局域网从互联网上获得信息的传统方式是利用Teleport等离线浏览软件，先从互联网上采集数据，再手工拷贝到内部局域网。
这样虽然保证了网络安全，却给实际工作带来了很多不便。首先，这类离线软件不能处理采集数据中的无效链接；其次，每次采集都必须由人工启动完成，不能根据应用需要自动采集；再者，所有的操作都由手工完成，导致工作效率很低；而且随着信息需求量的增大，劳动强度也越来越大。
为了解决这种日益突出的信息需求和信息安全之间的矛盾，我们在Red Hat Linux平台上研制开发了基于物理隔离的“互联网信息安全采集系统”。
该互联网信息安全采集系统是一个保证在任一时刻，在局域网和互联网物理隔离的前提下，安全浏览互联网网络资源的系统软件。它为用户提供了一个以物理隔离为基础的安全的网络环境，并提供了信息采集、负载均衡、自动转发、信息控制等功能。
系统逻辑结构
该互联网信息安全采集系统由采集服务器、中间服务器（含物理隔离器）和内部服务器三部分构成。其主要设计思想是通过中间服务器建立互联网和局域网的间接连接，对局域网用户来说，上网过程实际仅是浏览局域网内部服务器提供的内容，而由采集服务器从互联网上自动下载指定网站的内容，模拟局域网用户的上网过程。
中间服务器能够保证不同时连接局域网和互联网，即连接内部局域网时，中间服务器与互联网的连接不论是物理上，还是软件设置上都完全断开，反之亦然。这样，来自互联网的影响或攻击不可能进入局域网内部，局域网内部也无法真正地连接到互联网上，整个系统的安全性主要由中间服务器加以控制。
该系统的逻辑结构如图1所示。
图1 互联网信息安全采集系统逻辑结构图
koov 于 2005-10-07 21:49:31发表:
3．应用级服务控制
对于安全采集系统，其本身是一个比较专用的功能平台，所以本系统对于Linux操作系统进行了有效的定制，对于系统提供的服务做了最大程度的裁减。该定制版本对每个功能服务器都略有不同。同时，在系统通信上对每个操作系统进行了严格控制，屏蔽所有控制系统基本所需之外的端口和服务。
4．控制系统本身安全采集
系统一共分为三个模块，对每个模块的运行系统都建立了一套完整的安全监控机制。除了对系统运行数据进行有效记录和分析之外，还对系统本身运行平台建立了一套严格监控技术，24小时不间断地观察和监控系统运行状况，发现异常立即发出警报。
5．用户管理
系统不仅给用户提供了一套完整有效的底层安全策略，同时还给用户提供了一套用户管理机制，对用户日常操作提供了一套有效的管理机制，建立普通用户和超级用户的操作行为划分，从而对内部破坏性行为进行了有效地控制。
实际应用
本系统自2001年研制成功并投入运行以来，经过不断地完善修改，运行稳定可靠，极大地丰富了内部局域网上的公用信息。该互联网信息安全采集系统适用于对网络安全要求很高的党、政机关、部队、团体、企事业单位等，实现在与互联网物理隔离的情况下，局域网用户访问部分互联网网站的目的。
koov 于 2005-10-07 21:48:57发表:
针对实际应用，我们对wget算法进行修改，重写了程序，取得了较好的效果。改进后的新wget算法由于采用多套接字、多任务并发、非阻塞式I/O、I/O多路复用方式和轮询机制，在下载效率及内存占用等方面取得较为理想的效果。
虽然在系统初启，建立多任务的过程中会比其它程序稍慢一些，但随着程序的运行，在下载文件数达到十个以上时，程序的下载效率显著提高，尤其是网络带宽一般或对方网络响应速度较慢，特别是程序长时间运行时，其下载效率、内存占用、稳定性、可靠性、健壮性等方面的优势更为明显。
系统的工作流程
系统的工作流程简述如下：
（1）操作人员在采集管理服务器上定义若干下载任务模板；
（2）采集管理服务器根据任务模板的定义，生成需要执行的采集任务队列；
（3）采集管理服务器根据指定算法，将采集任务动态均衡地分配到各个采集服务器上；
（4）采集服务器接受、执行任务，并定时向中间服务器报告任务完成情况；
（5）在物理隔离器的控制下，中间服务器与内部服务器断开，与采集服务器连通，并取回采集任务结果；
（6）在物理隔离器的控制下，中间服务器与采集服务器断开，与内部服务器连通，并将采集任务结果送到内部服务器；
（7）内部服务器对接收到的采集任务结果进行特定的分析再处理后，向局域网用户提供虚拟上网的操作。
系统可以通过Web界面来定义任务模板、管理任务队列，任务队列的生成和分配将由系统内部调度程序自动完成，中间服务器与采集服务器、内部服务器的连通断开时间间隔由物理隔离器来设置。
系统的安全策略
系统为用户提供了一整套从底层操作系统到高端应用，从软件到硬件隔离的安全防护策略。系统从硬件到软件共以五个安全隐患为切入点，从不同层次上对内、外网信息进行了有效控制，对黑客、病毒起到了防护作用。
1．物理链路层安全采集（物理隔离设备）
系统对内网、外网信息的安全采集关键之处，就是采用了物理设备从物理链路层杜绝了内、外网相连的可能性，保证了资源的单向流通，从而绝对避免内网信息的泄漏。
2．操作系统级防护
系统所有功能模块都运行于Linux操作系统之上，采用最新Linux发行版本。众所周知，Linux作为开源系统，决无“后门”或“黑洞”隐患。同时，操作系统的进程、服务都是可控的，从而最大限度地对操作系统进行严格的访问控制，防止黑客有可乘之机。
koov 于 2005-10-07 21:48:20发表:
◆ 网路配置与系统安全管理模块是整个系统的防护控制中心，包括物理隔离器、防火墙、用户管理，负责保证整个系统信息流正常流转。
◆ 任务队列管理模块负责接收、整理用户上网需求，然后定义、生成下载任务，并提交调度协调管理模块。
◆ 采集器队列管理模块负责管理采集服务器机群，向调度协调管理模块提供完成互联网下载任务的采集器。
◆ 调度协调管理模块负责将具体任务合理分配到各个采集器，并将任务结果从采集器取回，送交内部服务器机群。
◆ 内部服务器管理模块负责接收并加工下载信息，最后向内部局域网用户提供虚拟上网环境。该互联网信息安全采集系统的网络操作系统选择Red Hat 7.2，Web服务器选用Apache，数据库平台选用MySQL，开发工具选用PHP和标准C。
Red Hat 7.2采用2.4.7-10内核，具有更加出色的网络配置、用户管理、防火墙机制和网络服务机制。MySQL是一个小巧玲珑的数据库服务器软件，对于中、小型应用系统是非常理想的。
除了支持标准的ANSI SQL语句外，最重要的是它还支持多种平台。在Unix/Linux系统上，MySQL支持多线程运行方式，从而能获得相当好的性能。
PHP则秉承Linux的GNU风格，能与Linux、Apache和MySQL紧密配合。同时，PHP第四代Zend（PHP4）的核心引擎正式版已经发布，整个程序的核心得到了大幅度改进，PHP程序的执行速度变得更快。因此，PHP在最佳化之后的效率已比传统CGI或ASP等程序有更好的表现。
采用这样一种软件设计体系的另一重要原因是PHP、MySQL、Apache三者都包含在Red Hat Linux中，与Windows NT和其上的SQL Server相比，能节省大笔软件购置费用。
系统采集引擎的设计
执行采集任务的下载引擎是整个互联网信息安全采集系统的核心，扮演着极其重要的角色，它的效率直接影响整个系统的性能。
目前，Linux平台下比较流行的下载引擎是wget，这是一个从WWW上用HTTP和FTP两种协议方式下载文件的自由软件。wget可以在后台根据HTML的文档结构或FTP的目录树，递归地下载文件。wget在网速比较慢或网络连接不稳定的时候表现良好，它将不断地重试直到完全下载或达到最大的重试次数。
它的缺点主要是没有HASH机制，在处理大数量文件时速度大大降低；简单的递归导致内存消耗较多；深度优先递归搜索则下载结果树不平衡、不理想；没有使用多Socket，使得下载效率大打折扣；当网络速度较慢时不会及时跳出，而出现长时间等待。
koov 于 2005-10-07 21:47:12发表:
从图1中可以看出，采集服务器机群通过RAS或其它方式连接到互联网上，与内部局域网之间被物理隔离器物理隔离。经由隔离器，中间管理服务器可以与采集服务器或内部服务器建立连接，但一个时刻只能与其中一方连接，而不能同时与两方连接。专门设计的物理隔离器保证了无论何时采集服务器和内部服务器之间为断路。
1.采集服务器（群）
采集服务器（群）用来从互联网上采集信息，所以它的网络接口配置应可通过防火墙对互联网上的Web服务进行浏览。在一个采集服务器（群）里，逻辑上必须且最多应存在一台采集管理器，采集管理器提供可被采集服务器（群）访问的网络数据库（MySQL Server）和网络共享目录（NFS Server），以及可被中间服务器访问的FTP目录（FTP Server）。
因为采集管理器的管理操作是通过Web操作完成，所以采集管理器上应具备可被访问的Web服务（HTTP Server）。同样，在逻辑上也至少应存在一台采集服务器，该采集服务器应可访问互联网采集信息，并且可以访问采集管理器的数据库（MySQL Client）和网络共享目录（NFS Client）。
2.中间服务器
中间服务器的功能是从采集管理器上取得采集好的信息，然后转发到局域网服务器上进行发布，所以中间服务器上的网络接口配置应既能访问采集管理器，也能访问局域网服务器。中间服务器应可访问采集管理器和局域网服务器的FTP目录（FTP Client）。
3.局域网服务器
局域网服务器的功能就是用来在内部局域网发布信息，所以它的网络接口应可被内部局域网的计算机访问。因为局域网服务器是用来发布被采集信息的，应提供Web服务（HTTP Server），以及可被中间服务器访问的FTP目录（FTP Server）。
这里，采集服务器和局域网内部服务器都可以采用一台或多台计算机，并可以根据系统的规模和需求随时扩充新的服务器，系统的采集能力是动态可调的。
系统的功能模块
系统从功能上可以分为网路配置与系统安全管理模块、任务队列管理模块、采集器队列管理模块、调度协调管理模块、内部服务器管理模块五部分。功能模块框架如图2所示。
图2 互联网信息安全采集系统功能模块图