写入HDFS

最新推荐文章于 2024-05-28 16:01:56 发布

原创最新推荐文章于 2024-05-28 16:01:56 发布 · 549 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据和机器学习专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一个使用Java实现的简单方法，通过创建一个HDFS客户端，利用Java API将数据写入HDFS系统。包括初始化配置、创建文件路径、写入数据和同步操作等关键步骤。

写入HDFS的代码

public class HDFS {
	private static final String HDFS_ADDR = Config.HDFS_PATH;//hdfs://10.58.121.170:9000
	private static FileSystem fs;
	static {
		Configuration configuration = new Configuration();
		configuration.set("dfs.replication", Config.REPLICATION);//crawl.replication_number=2
		try {
			fs = FileSystem.get(URI.create(HDFS_ADDR), configuration);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	private Path path;
	private FSDataOutputStream out;

	public HDFS(String file) {
		if (file != null && file.length() > 0) {
			init(file);
		}
	}

	private void init(String file) {
		path = new Path(HDFS_ADDR + file);
		try {
			out = fs.create(path);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	public void insert(String content) {
		try {
			out.write((content + "\n").getBytes());
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	public void sync() {
		try {
			out.hflush();
			out.hsync();
		} catch (IOException e) {
			e.printStackTrace();
		}

	}

	public void close() {
		try {
			out.close();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}