python通过pyhdfs连接hdfs的安装配置

最近由于程序的需要，使用python操作hdfs的内容。查找发现可以通过pydhfs操作hdfs，但是网上的教程多数比较老。

本着被坑了很久，希望大家早点解决问题的态度，记录下本菜鸟安装的过程。

可以按照下面帖子的方法安装pyhdfs

http://blog.csdn.net/w894607785/article/details/50205857

将所有的.jar放入lib库中，然后可以修改setup.py中的

pyhdfs = Extension('pyhdfs',

sources = ['src/pyhdfs.c'],

include_dirs = ['/usr/lib/jvm/jdk1.8.0_73/includes'],

libraries = ['hdfs'],

library_dirs = ['lib'],

runtime_library_dirs = ['/usr/local/lib/pyhdfs', '/usr/lib/jvm/jdk1.8.0_73/jre/lib/amd64/server'],

)

修改include_dirs和runtime_dirs为机器上的jdk安装路径，然后运行setup.py

完成后可以在python shell中尝试导入import pyhdfs

当出现无法找到模块错误时，检查setup中的路径是否正确

导入成功后可以输入

pyhdfs.connect('127.0.0.1',9000)尝试连接hdfs

如果出现

unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)

解决方法如下：

可以在程序前添加绿色部分：

import os

import pyhdfs

hadoop_path = '/usr/local/hadoop/share/hadoop/'

comm_line = 'find ' + hadoop_path + ' -name *.jar'

classpath_str = os.popen(comm_line).read()

if classpath_str.find('command not found') != -1:

#把错误写道日志中

error_log.config_log().error(classpath_str)

else:

classpath_list = classpath_str.strip().split()

classpath_str = ''

for path in classpath_list:

classpath_str = classpath_str + ':' + path

CLASSPATH = os.environ["CLASSPATH"]

os.environ['CLASSPATH'] = CLASSPATH + classpath_str

a = pyhdfs.connect('127.0.0.1',9000)

pyhdfs.get(a, "/test/1", "/home/hadoop/test_hdfs")

测试文件获取成功！