本文共 683 字,大约阅读时间需要 2 分钟。
在cdh5.14上装好spark5.14后,如果使用pyspark的话,默认是使用系统的python,一般是python2.7
export PYSPARK_PYTHON=/usr/bin/python3 export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
export HADOOP_CONF_DIR=/etc/hive/conf
ps. 这里不是网上很多说的【/etc/hadoop/conf】因为这个目录下没有hive-site.xml 还是读取不到hive, 发现【/etc/hive/conf】包含hadoop的所有xml 也有hive的xml,所以使用这个路径,其原理就是要包含hadoop和hive的site.xml,
转载地址:http://zulwb.baihongyu.com/