红联Linux门户
Linux帮助

CaffeOnSpark安装笔记 可以正常运行

发布时间:2017-11-09 09:34:39来源:linux网站作者:郑斯道
CaffeOnSpark 安装环境
平台:Ubuntu 16.04
 
对于CaffeOnSpark的安装,默认的前提是已经在机器上安装CUDA, Hadoop 和 Spark 集群,并且它们可用的。关于Hadoop和Spark的版本,官方文档有严格定义:
Hadoop 2.6 Spark 1.6 或者是: Hadoop 2.7 Spark 2.0
另外环境需要 Java8. Scala 2.11.7
注:安装CaffeOnSpark时,对各个插件的版本有严格要求。
 
安装Apache Maven
在编译CaffeOnSpark中的MakeFile.config文件中用到了mvn命令。
a.确保已经安装好 jdk.
b.到maven官网下载 apache-maven-3.2.5-bin.tar.gz (最新的版本可能发生maven插件冲突,3.2.5是检测可行的版本)。
c.解压到工作区:
$ tar –zxvf apache-maven-3.2.5-bin.tar.gz 
d.添加环境变量:
$ sudo vi /etc/profile
$ export M2_HOME=/[maven安装目录]/apache-maven-3.2.5
$ export PATH=$M2_HOME/bin:$PATH
$ . /etc/profile
e.检测是否安装成功:
$ mvn –v
 
安装Cmake
到官网下载最新的Cmake: https://cmake.org/download/ 版本无要求
下载后解压,进入目录执行:
$ ./bootstrap
$ make –j8
$ sudo make install
验证版本:
$ cmake –version
 
安装Google Protobuf 2.5.0
Protobuf 目前已经全面一直到Github:https://github.com/google/protobuf,版本必须是 2.5.0 最新版会出现无法解析类名冲突
下载安装包后解压到目录,进入目录下:
$ ./configure
$ make
$ make check
$ sudo make install
验证版本:
$ protoc –version
注意:由于版本库的问题,你的OpenCV可能找不到对应库:
$ sudo vi /etc/ld.so.conf.d
在里面添加:
/usr/local/lib
$ sudo ldconfig    #使配置生效
 
安装OpenCV
首先安装依赖库:
$ sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev \
libavformat-dev libjpeg.dev libtiff4.dev libswscale-dev libjasper-dev
从官网下载 OpenCV 注意:CUDA 8.0之后的版本会与OpenCV冲突,所以只能选择2.4 ,本文选择的是17.10推出的小版本2.4.13。
解压OpenCV并进入目录:
$ cmake .  (注意空格和点)
$ sudo make 
$ sudo make install
注意:由于版本库的问题,你的OpenCV可能找不到对应库:
$ sudo vi /etc/ld.so.conf.d
在里面添加:
/usr/local/lib
$ sudo ldconfig    #使配置生效
验证版本:
pkg-config --modversion opencv  
 
安装Caffe
更新源:
$ sudo apt-get update
下载Caffe:
$ git clone https://github.com/bvlc/caffe.git
依赖包:
$       sudo apt-get install libprotobuf-dev protobuf-compiler
$   sudo apt-get install libleveldb-dev
$   sudo apt-get install libsnappy-dev
$   sudo apt-get install libopencv-dev
$       sudo apt-get install libhdf5-serial-dev
$       sudo apt-get install --no-install-recommends libboost-all-dev
$   sudo apt-get install libatlas-base-dev
$   sudo apt-get install python-dev
$   sudo apt-get install libgflags-dev
$   sudo apt-get install libgoogle-glog-dev
$   sudo apt-get install liblmdb-dev
$   sudo apt-get install libatlas-base-dev
$   sudo apt-get install --no-install-recommends libboost-all-dev
$   sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
修改 Makefile 和 Makefile.config,同时选择cpu 或者是 gpu
编译 Caffe:
$ make all
$ make test
$ make runtest
 
安装CaffeOnSpark
下载CaffeOnSpark:
$ sudo git clone https://github.com/yahoo/CaffeOnSpark.git  --recursive
把Caffe当中的Makefile和Makefile.config拷贝到Caffe-public中替换原来的。
修在在caffe-public文件夹下的Makefile.config文件:
添加:INCLUDE_DIRS +=${JAVA_HOME}/include
编译CaffeOnSpark:
$ make build
这个过程会下载许多的内容,所以会持续很长时间。
在安装完成之后会明显出现Build Success,然后就可以根据官方GIT上的操作来跑数据集进行测试。
 
本文永久更新地址:http://www.linuxdiyf.com/linux/32901.html