红联Linux门户
Linux帮助

linux命令行抓取网页快照-(xvfb+CutyCapt)

发布时间:2017-02-25 10:11:02来源:linux网站作者:xiaojikuaipao
目的:
在一台没有安装X-server的Debian服务器上实现命令行抓取网页快照。
 
软件:
1.xvfb(http://www.x.org/archive/X11R6.8.2/doc/Xvfb.1.html)(在命令行下实现对X-server的模拟,渲染图形进行缓存)-在没有安装X-Server的环境下提供图像渲染
2.CutyCapt(https://sourceforge.net/projects/cutycapt/)(模拟浏览器对网页进行下载、HTML、css渲染、Javascript执行,并将最终渲染完成的网页进行快照)- 主力干将
3.Qt(http://qt.nokia.com/)(CutyCapt是基于此框架开发的)
 
实践:
1.安装CutyCapt、Qt及相关软件包:
sudo apt-get install subversion libqt4-webkit libqt4-dev g++
svn co https://cutycapt.svn.sourceforge.net/svnroot/cutycapt
cd cutycapt/CutyCapt
qmake
make
2.安装xvfb:
apt-get install xvfb
3.抓取测试:
xvfb-run --server-args="-screen 0, 1024x768x24" ./CutyCapt --url=http://www.zol.com.cn --out=zol.png
 
本文永久更新地址:http://www.linuxdiyf.com/linux/28683.html