安装sparklyr
1.通过devtools包实现sparklyr包的安装：
install.packages("devtools")
devtools::install_github("rstudio/sparklyr")
出现问题：安装不上，因为Ubuntu中需要安装一些包
$ sudo apt-get install libcurl4-openssl-dev libssl-dev
2.在本地安装Spark
library(sparklyr)
spark_install(version = "2.1.0"，hadoop_version="2.7")
3.设置Java，SPRK，SPRK_VERSION环境变量
Sys.setenv(JAVA_HOME='/home/haoyu/jdk1.7')
Sys.setenv(SPARK_HOME='/home/haoyu/spark/spark-2.1.0-bin-hadoop2.7')
Sys.setenv(SPARK_VERSION='2.1.0')
4.连接本地spark
install.packages("dplyr")
library(dplyr)
sc <- spark_connect(master = "local")
5.连接远程spark
sc <- spark_connect(master="spark://192.168.20.172:7077")
注意：之前如果设置了环境变量的话，就直接使用以上语句就行，否则的话得在函数里添加环境变量的参数。
6.读取HDFS文件，并放进spark集群中
ccf_online_stage1_train <- spark_read_csv(
sc, name="online_trian",
path="hdfs://192.168.20.172:900/haoyu_data/O2O/ccf_online_stage1_train.csv",
charset="utf-8"
)
