新书《UNIX/Linux网络日志分析与流量监控》

[i=s] 本帖最后由 Growth兆 于 2014-12-10 10:12 编辑 [/i]

媒体推荐：
日志分析是系统管理员的基本技能。UNIX/Linux系统提供了强大的日志系统，为管理员查找和发现问题提供了强有力的支持。本书以讲故事的形式，将作者的亲身实战经历融入其中，仿佛福尔摩斯在向华生讲述整个案情的来龙去脉，让读者在跟随作者分析的过程中。了解UNIX/Linux日志分析的窍门。本书语言通俗易懂，结合案例情景，易于实践操作。

更重要的是，系统管理员（包括各类IT从业者）通过本书，不仅可以学习到UNIX/ Linux日志的作用，还可以举一反三，站在更高的角度看待IT运维和系统安全。只有整体看待这些问题，才能增加系统的稳定性和安全性，将系统管理员从日常事务中解脱出来。

《Unix/Linux网络日志分析与流量监控》这本书以企业网络安全运维作为背景，不但详细分析了如今比较典型的安全问题，包括DDOS攻击、无线攻击、恶意代码、SQL注入等等案例以及补救措施，更是能够让企业运维人员了解并熟悉使用目前最受欢迎的Ossim开源系统，挖掘网络安全问题。作者用10来年的经验分享，无论您是网络工程师，系统管理员还是信息安全人员，都将在本书中与作者产生共鸣。本书最大的亮点不同于其他安全书籍，它所给读者传递的是一种解决问题的思路和方法，而不是简简单单的案例讲解。授之以渔，值得推荐。

本书从UNIX/Linux系统的原始日志（Raw Log）采集与分析讲起，逐步深入到日志审计与计算机取证环节。书中提供了多个案例，每个案例都以一种生动的记事手法讲述了网络遭到入侵之后，管理人员开展系统取证和恢复的过程，案例分析手法带有故事情节，使读者身临其境地检验自己的应急响应和计算机取证能力。

本书使用的案例都是作者从系统维护和取证工作中总结、筛选出来的，这些内容对提高网络维护水平和事件分析能力有重要的参考价值。如果你关注网络安全，那么书中的案例一定会引起你的共鸣。本书适合有一定经验的UNIX/Linux系统管理员和信息安全人士参考。

1．为什么写这本书

国内已出版了不少网络攻防等安全方面的书籍，其中多数是以Windows平台为基础。但互联网应用服务器大多架构在UNIX/Linux系统之上，读者迫切需要了解有关这些系统的安全案例。所以我决心写一本基于UNIX/Linux的书，从一个白帽的视角，为大家讲述企业网中UNIX/Linux系统在面临各种网络威胁时，如何通过日志信息查找问题的蛛丝马迹，修复网络漏洞，构建安全的网络环境。

2．本书特点与结构

书中案例覆盖了如今网络应用中典型的攻击类型，例如DDoS、恶意代码、缓冲区溢出、Web应用攻击、IP碎片攻击、中间人攻击、无线网攻击及SQL注入攻击等内容。每段故事首先描述一起安全事件。然后由管理员进行现场勘查，收集各种信息（包括日志文件、拓扑图和设备配置文件），再对各种安全事件报警信息进行交叉关联分析，并引导读者自己分析入侵原因，将读者带入案例中。最后作者给出入侵过程的来龙去脉，在每个案例结尾提出针对这类攻击的防范手段和补救措施，重点在于告诉读者如何进行系统和网络取证，查找并修复各种漏洞，从而进行有效防御。

全书共有14章，可分为三篇。

第一篇日志分析基础（第1～3章），是全书的基础，对于IT运维人员尤为重要，系统地总结了UNIX/Linux系统及各种网络应用日志的特征、分布位置以及各字段的作用，包括Apache日志、FTP日志、Squid日志、NFS日志、Samba日志、iptables日志、DNS日志、DHCP日志、邮件系统日志以及各种网络设备日志，还首次提出了可视化日志分析的实现技术，首次曝光了计算机系统在司法取证当中所使用的思路、方法、技术和工具，这为读者有效记录日志、分析日志提供了扎实的基础，解决了读者在日志分析时遇到的“查什么”、“怎么查”的难题。最后讲解了日志采集的实现原理和技术方法，包括开源和商业的日志分析系统的搭建过程。

第二篇日志分析实战（第4～12章），讲述了根据作者亲身经历改编的一些小故事，再现了作者当年遇到的各种网络入侵事件的发生、发展和处理方法、预防措施等内容，用一个个网络运维路上遇到的“血淋淋”的教训来告诫大家，如果不升级补丁会怎么样，如果不进行系统安全加固又会遇到什么后果。这些案例包括Web网站崩溃、DNS故障、遭遇DoS攻击、Solaris安插后门、遭遇溢出攻击、rootkit攻击、蠕虫攻击、数据库被SQL注入、服务器沦为跳板、IP碎片攻击等。

第三篇网络流量与日志监控（第13、14章），用大量实例讲解流量监控原理与方法，例如开源软件Xplico的应用技巧，NetFlow在异常流量中的应用。还介绍了用开源的OSSIM安全系统建立网络日志流量监控网络。

本书从网络安全人员的视角展现了网络入侵发生时，当你面临千头万绪的线索时如何从中挖掘关键问题，并最终得以解决。书中案例采用独创的情景式描述，通过一个个鲜活的IT场景，反映了IT从业者在工作中遇到的种种难题。案例中通过互动提问和开放式的回答，使读者不知不觉中掌握一些重要的网络安全知识和实用的技术方案。

本书案例中的IP地址、域名信息均为虚构，而解决措施涉及的下载网站以及各种信息查询网站是真实的，具有较高参考价值。书中有大量系统日志,这些日志是网络故障取证处理时的重要证据，由于涉及保密问题，所有日志均做过技术处理。

由于时间紧，能力有限，书中不当之处在所难免，还请各位读者到我的博客多多指正。

3．本书实验环境

本书选取的UNIX平台为Solaris和FreeBSD，Linux平台主要为Red Hat和Debian Linux。涉及取证调查工具盘是Deft 8.2和Back Track5。在http://chenguang.blog.51cto.com （作者的博客）提供了DEFT-vmware、BT5-vmware、OSSIM-vmware虚拟机，可供读者下载学习研究。

4．致谢

首先感谢我的父母多年来的养育之恩和关心呵护。感谢我在各个求学阶段的老师。尤其要感谢我的妻子，有了她精心的照顾，我才能全身心地投入到创作当中，没有她的支持和鼓励，我无法持之以恒地完成本书。最后要感谢机械工业出版社的车忱编辑，为了提升本书的质量，他花费了大量心血。

全书目录：

第一篇日志分析基础

第1章网络日志获取与分析13

1.1网络环境日志分类14

1.1.1UNIX/Linux系统日志14

1.1.2Windows日志15

1.2.3Windows系统日志16

1.1.4网络设备日志16

1.1.5应用系统的日志17

1.2Web日志分析17

1.2.1访问日志记录过程17

1.2.2Apache访问日志作用18

1.2.3访问日志的位置18

1.2.4访问日志格式分析18

1.2.5HTTP返回状态代码19

1.2.6记录Apache虚拟机日志19

1.2.7Web日志统计举例20

1.2.6Apache错误日志分析21

1.2.7日志轮询23

1.2.8清空日志的技巧24

1.2.9其他Linux平台Apache日志位置25

1.2.10Nginx日志25

1.2.11Tomcat日志25

1.2.12常用Apache日志分析工具26

1.3FTP服务器日志解析27

1.3.1分析vsftpd.log和xferlog28

1.3.2中文对Vsftp日志的影响29

1.3.2用Logparser分析FTP日志30

1.4用LogParser分析Windows系统日志32

1.4.1LogParser概述32

1.4.2LogParser结构32

1.4.3安装LogParser33

1.4.4LogParser应用案例33

1.4.5图形化分析输出36

1.5Squid服务日志分析37

1.5.1Squid日志分类37

1.5.2典型Squid访问日志分析37

1.5.3Squid时间戳转换38

1.5.4Squid日志位置：39

1.5.5图形化日志分析工具40

1.5.6其他UNIX/Linux平台的Squid位置40

1.6NFS服务日志分析41

1.6.1Linux下的NFS日志41

1.6.2Solaris下NFS服务器日志41

1.7IPtables日志分析44

1.7.1对LOG日志格式的问题：45

1.8Samba日志审计47

1.8.1Samba默认提供的日志48

1.8.2Samba审计49

1.9DNS日志分析50

1.9.1DNS日志的位置50

1.9.2DNS日志的级别50

1.9.3DNS查询请求日志实例解释50

1.9.4DNS分析工具-DNStop51

1.10DHCP服务器日志52

1.11邮件服务器日志53

1.11.1Sendmail53

1.11.2Postfix54

1.12Linux下双机系统日志54

1.12.1Heartbeat的日志54

1.12.2备用节点上的日志信息55

1.12.3日志分割56

1.13其他UNIX系统日志分析GUI工具56

1.13.1用SMC分析系统日志56

1.13.2MacOSX的GUI日志查询工具57

1.14死机日志汇总分析

1.15可视化日志分析工具58

1.15.1.彩色日志工具:CCZE59

1.15.2动态日志查看工具:Logstalgia59

1.15.3三维日志显示工具:Gource60

1.15.4用AWStats监控网站流量61

第2章UNIX/Linux系统取证65

2.1常见IP追踪方法65

2.1.1IP追踪工具和技术65

2.1.2DoS/DDoS攻击源追踪思路67

2.2重要信息收集69

2.2.1收集正在运行的进程69

2.2.2收集/proc系统中的信息72

2.2.3UNIX文件存储与删除73

2.2.4硬盘证据的收集方法73

2.2.5从映像的文件系统上收集证据75

2.2.6用Ddrescue恢复数据77

2.2.7查看详细信息78

2.2.8收集隐藏目录和文件78

2.2.9检查可执行文件80

2.3常用搜索工具80

2.3.1特殊文件处理80

2.3.2TheCoroner’sToolkit(TCT工具箱)81

2.3.3Forensix工具集81

2.4集成取证工具箱介绍82

2.4.1用光盘系统取证82

2.4.2屏幕录制取证方法83

2.5案例研究一：闪现SegmentationFault为哪般？83

难度系数：★★★83

事件背景84

互动问答87

疑难解析87

预防措施：89

2.6案例研究二：谁动了我的胶片90

难度系数：★★★★★90

事件背景90

取证分析92

互动问答94

疑点分析95

疑难解析96

预防措施99

第3章建立日志分析系统100

3.1日志采集基础100

3.1.1SYSLOG协议100

3.1.2Syslog日志记录的事件102

3.1.3Syslog.conf配置文件详解103

3.1.4Syslog操作105

3.1.5Syslog的安全漏洞105

3.1.6Rsyslog106

3.1.7Syslog-ng107

3.2时间同步107

3.2.1基本概念107

3.2.2识别日志中伪造的时间信息108

3.2.3同步方法108

3.3网络设备日志分析与举例108

3.3.1路由器日志分析109

3.3.2交换机日志分析110

3.3.3防火墙日志分析110

3.3.4通过日志发现ARP病毒112

3.4选择日志管理系统的十大问题116

3.5利用日志管理工具更轻松120

3.5.1日志主机系统的部署120

3.5.2日志分析与监控122

3.5.3利用EventlogAnalyzer分析网络日志122

3.5.4.分析防火墙日志125

3.6用Sawmill搭建日志平台126

3.6.1系统简介126

3.6.2部署注意事项：127

3.6.3安装举例：127

3.6.4监测网络入侵129

3.7使用Splunk分析日志130

3.7.1Splunk简介130

3.7.2Splunk安装：131

3.7.3设置自动运行131

3.7.4系统配置132

3.7.5设置日志分析目录133







第二篇日志实战案例分析

第4章DNS系统故障分析140

4.1案例研究三：邂逅DNS故障140

难度系数：★★★★140

事件背景140

互动问答143

取证分析144

问题解答146

预防措施147

4.2DNS漏洞扫描方法148

4.2.1DNS扫描的关键技术149

4.2.2检查工具：149

4.3DNSFloodDetector让DNS更安全150

4.3.1Linux下DNS面临的威胁151

4.3.2BIND漏洞151

4.3.3DNS管理152

4.3.4应对DNSFlood攻击152

4.3.5DNSFloodDetector保安全153

第5章DOS攻击防御分析155

5.1案例研究四：网站遭遇DOS攻击155

难度系数：★★★155

事件背景155

针对措施159

疑难解答161

案例总结162

5.2案例研究五：“太?”防火墙164

难度系数：★★★★164

事件背景164

互动问答166

调查分析166

答疑解惑168

第6章UNIX后门与溢出案例分析168

6.1如何防范RootKit攻击169

6.1.1认识RootKit169

6.1.2RootKit的类型169

6.2防范RootKit的工具171

6.2.1使用chkrootkit工具171

6.2.2RootKitHunt工具173

6.3安装LIDS173

6.3.1LIDS的主要功能173

6.3.2配置LIDS174

6.3.3使用Lidsadm工具175

6.3.4使用LIDS来保护系统177

6.4安装与配置AIDE178

6.4.1Solaris安装AIDE178

6.4.2用Aide加固Ossim平台179

6.4.3Tripwire181

6.5Nabou安装与配置182

6.5.1Nabou的功能及原理182

6.5.2创建一对RSA密钥182

6.5.3初始化数据库183

6.5.4启用LIDS183

6.5.5Nabou的数据库维护183

6.5.6Nabou的应用实例185

6.5.7Nabou的适用场合186

6.6案例研究六：Solaris异常后门187

难度系数：★★★★★187

入侵背景187

预防措施193

6.7案例研究七:遭遇溢出攻击195

难度系数：★★★★★195

事件背景195

分析日志195

案例解码200

预防措施202

6.8案例研究八：真假Root账号203

难度系数：★★★★203

事件背景203

取证分析206

互动问答：207

问题解答：208

预防措施209

6.9案例研究九：为RootKit把脉209

难度系数：★★★★★209

事件背景209

互动问答214

事件分析：214

预防措施216

第7章UNIX系统防范案例217

7.1案例研究十：当网页遭遇篡改之后217

难度系数：★★★★217

事件背景218

互动问答219

入侵事件剖析219

疑难解答221

防护措施222

Web漏洞扫描工具----Nikto223

7.2案例十一UNIX下捉虫记225

难度系数：★★★★★225

事件背景225

取证分析226

互动问答228

入侵解析229

预防措施233

7.3案例研究十二：泄露的裁员名单234

难度系数：★★★★234

事件背景234

取证分析235

互动问答236

答疑解惑237

预防措施238

第8章SQL注入防护案例分析239

8.1案例十三：后台数据库遭遇SQL注入239

难度系数：★★★★239

案例背景：239

分析过程242

预防与补救措施244

8.2案例研究十四：大意的程序员之-SQL注入244

难度系数：★★★★244

事件背景244

互动问答246

分析取证246

答疑解惑247

预防措施251

8.3利用OSSIM监测SQL注入251

8.3.2用Ossim检测SQl注入252

Ossim系统中的Snort规则254

8.4LAMP网站的SQL注入预防255

8.4.1服务器端的安全配置255

8.4.2PHP代码的安全配置255

8.4.3PHP代码的安全编写256

8.5通过日志检测预防SQL注入256

8.5.1通过WEB访问日志发现SQL攻击257

8.5.2用VisualLogParser分析日志257

第9章远程连接安全案例259

9.1案例十五：修补SSH服务器259

难度系数：★★★259

事件背景259

加固SSH服务器262

通过Ossim实现SSH登录失败告警功能265

预防措施267

9.2案例研究十六：无辜的“跳板”268

事件背景268

预防措施272

第10章Snort系统部署及应用案例273

10.1Snort系统原理273

10.2Snort安装与维护273

10.1.1准备工作273

10.1.2深入了解Snort274

10.1.3安装Snort程序276

10.1.4维护Snort278

10.1.5Snort的不足280

10.2Snort日志分析280

10.2.1基于文本的格式281

10.2.2典型攻击日志信息282

10.2.2Snort探针部署282

10.2.3日志分析工具283

10.3Snort规则分析283

10.3.1Snort规则283

10.3.2编写SNORT规则284

10.4基于Ossim平台的WIDS系统287

10.4.1安装无线网卡288

10.4.2设置Ossim无线传感器290

10.5案例研究十七：IDS系统遭遇IP碎片攻击293

难度系数：★★★★293

事件背景293

疑难问题301

互动问答：301

10.5.1防范与处理思路301

10.5.2nort+Iptables联动302

10.5.3IP碎片攻击的预防303

10.5.4评估NIDS工具303

10.5.5IDS系统与网络嗅探器的区别304

10.6案例十八：智取不速之客305

难度系数：★★★★305

事件背景305

互动问答307

取证分析307

疑难解答310

预防措施311

第11章WLAN案例分析311

11.1WLAN安全漏洞与威胁312

11.2案例研究十九：无线网遭受的攻击313

难度系数：★★★★313

事件背景313

互动问答315

疑点解析317

预防措施318

11.2.2有关WIFI上网日志的收集318

11.2.3用开源NAC阻止非法网络访问318

11.2.4企业中BYOD的隐患320

11.3案例研究二十：无线会场的“不速之客”321

难度系数：★★★★321

事件背景：321

取证分析324

第12章数据加密与解密案例327

12.1GPG概述327

12.1.1创建密钥327

12.1.2导入密钥328

12.1.3加密和解密328

12.1.4签订和验证329

12.2案例研究二十一：“神秘”的加密指纹330

难度系数：★★★330

事件背景330

疑难问题333

案情解码333

分析攻击过程337

答疑解惑337

预防措施338







第三篇网络流量与日志监控

第13章网络流量监控338

13.1网络监听关键技术339

13.1.1网络监听339

13.1.2SNMP协议的不足339

13.1.3监听关键技术339

13.1.4NetFlow与sFlow的区别340

13.1.5协议和应用识别340

13.1.6网络数据流采集技术340

13.1.7SPAN的局限性341

13.2用Netflow分析网络异常流量341

13.2.1Netflow的Cache管理342

13.2.2NetFlow的输出格式342

13.2.3NetFlow的抽样机制342

13.2.4NetFlow的性能影响343

13.2.5NetFlow在蠕虫病毒监测上的应用343

13.3VMwareESXi服务器监控347

13.4应层数据包解码351

13.4.1概述351

13.4.2系统架构351

13.4.3Xplico的数据获取方法352

13.4.4Xplico部署352

13.4.5应用Xplico353

13.5.网络嗅探器的检测及预防358

13.5.1嗅探器的检测358

13.5.2网络嗅探的预防359

第14章OSSIM综合应用360

14.1OSSIM的产生360

14.1.1概况360

14.1.2从SIM到OSSIM361

14.1.3安全信息和事件管理（SIEM）362

14.2Ossim架构与原理363

14.2.1Ossim架构363

14.2.2Agent事件类型368

14.2.3RRD绘图引擎370

14.2.4OSSIM工作流程分析371

14.3部署OSSIM371

14.3.1准备工作：371

14.3.2Ossim服务器的选择373

14.3.3分布式Ossim系统探针布局374

14.3.4Ossim系统安装步骤:374

14.4Ossim安装后续工作379

14.4.1时间同步问题379

14.4.2系统升级380

14.4.3防火墙设置381

14.4.4访问数据库381

14.4.5同步Openvas插件384

14.4.6安装远程管理工具385

14.4.7安装X-window386

14.5使用Ossim系统387

14.5.1熟悉主界面387

14.5.2SIEM事件控制台389

14.6风险评估方法392

Ossim系统风险度量方法393

14.7Ossim关联分析技术394

14.7.1关联分析394

14.7.2Ossim的通用关联检测规则395

14.8OSSIM日志管理平台398

14.8.1Ossim日志处理流程398

14.8.2Snare398

14.8.3通过WMI收集Windows日志399

14.8.4配置Ossim399

14.8.5Snare与WMI的区别401

14.9应用Ossim系统的IDS401

14.9.1HIDS/NIDS401

14.9.2OSSECHIDSAgent安装402

14.10Ossim流量监控工具应用413

14.10.1流量过滤413

14.10.3流量分析415

14.10.4网络天气图417

14.10.5设置Netflow418

14.10.6Nagios监视419

14.10.7与第三方监控软件集成421

14.11检测Shellcode攻击

14.12Ossim应用资产管理422

14.12.1OCSInventoryNG架构422

14.12.2OCS使用423

14.13Ossim在蠕虫预防中的应用423

14.14监测Shellcode426

14.15漏洞扫描应用427

14.15.1漏洞评估方法427

14.15.2漏洞库详解428

14.16采用Openvas扫描429

14.16.1分布式漏洞扫描430

14.17Metasploit的渗透测试432

14.17.1Metasploit+Nessus联动分析434

14.18常见Ossim部署与应用问答437

附录

附件A分布式蜜罐系统部署460

附件B监控软件对比464

附录C全文索引466