本文研究的主要是HDFS的Java API的访问方式，具体代码如下所示，有详细注释。
最近的节奏有点儿快，等有空的时候把这个封装一下
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.FileUtil;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hdfs.DistributedFileSystem;import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
/** * 获取HDFS文件系统 * @return * @throws IOException * @throws URISyntaxException */public static FileSystem getFileSystem() throws IOException, URISyntaxException{//read config fileConfiguration conf = new Configuration();//返回默认文件系统//如果在Hadoop集群下运行，使用此种方法可以直接获取默认文件系统//FileSystem fs = FileSystem.get(conf);//指定的文件系统地址URI uri = new URI("hdfs://hy:9000");//返回指定的文件系统//如果在本地测试，需要使用此种方法获取文件系统FileSystem fs = FileSystem.get(uri, conf);return fs;}/** * 创建文件目录 * @throws Exception */public static void mkdir() throws Exception{//获取文件系统FileSystem fs = getFileSystem();//创建文件目录fs.mkdirs(new Path("hdfs://hy:9000/hy/weibo"));//释放资源fs.close();}/** * 删除文件或者文件目录 * @throws Exception */public static void rmdir() throws Exception{//获取文件系统FileSystem fs = getFileSystem();//删除文件或者文件目录fs.delete(new Path("hdfs://hy:9000/hy/weibo"), true);//释放资源fs.close();}/** * 获取目录下所有文件 * @throws Exception */public static void listAllFile() throws Exception{//获取文件系统FileSystem fs = getFileSystem();//列出目录内容FileStatus[] status = fs.listStatus(new Path("hdfs://hy:9000/hy/"));//获取目录下所有文件路径Path[] listedPaths = FileUtil.stat2Paths(status);//循环读取每个文件for (Path path : listedPaths) {System.out.println(path);}//释放资源fs.close();}/** * 将文件上传至HDFS * @throws Exception */public static void copyToHDFS() throws Exception{//获取文件对象FileSystem fs = getFileSystem();//源文件路径是Linux下的路径 Path srcPath = new Path("/home/hadoop/temp.jar");//如果需要在windows下测试，需要改为Windows下的路径，比如 E://temp.jarPath srcPath = new Path("E://temp.jar");//目的路径Path dstPath = new Path("hdfs://hy:9000/hy/weibo");//实现文件上传fs.copyFromLocalFile(srcPath, dstPath);//释放资源fs.close();}/** * 从HDFS上下载文件 * @throws Exception */public static void getFile() throws Exception{//获得文件系统FileSystem fs = getFileSystem();//源文件路径Path srcPath = new Path("hdfs://hy:9000/hy/weibo/temp.jar");//目的路径，默认是Linux下的//如果在Windows下测试，需要改为Windows下的路径，如C://User/andy/Desktop/Path dstPath = new Path("D://");//下载HDFS上的文件fs.copyToLocalFile(srcPath, dstPath);//释放资源fs.close();}/** * 获取HDFS集群点的信息 * @throws Exception */public static void getHDFSNodes() throws Exception{//获取文件系统FileSystem fs = getFileSystem();//获取分布式文件系统DistributedFileSystem hdfs = (DistributedFileSystem)fs;//获取所有节点DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();//循环比遍历for (int i = 0; i < dataNodeStats.length; i++) {System.out.println("DataNote_" + i + "_Name:" + dataNodeStats[i].getHostName());}//释放资源fs.close();}/** * 查找某个文件在HDFS集群的位置 * @throws Exception */public static void getFileLocal() throws Exception{//获取文件系统FileSystem fs = getFileSystem();//文件路径Path path = new Path("hdfs://hy:9000/hy/weibo/temp.jar");//获取文件目录FileStatus fileStatus = fs.getFileStatus(path);//获取文件块位置列表BlockLocation[] blockLocations = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());//循环输出块信息for (int i = 0; i < blockLocations.length; i++) {String[] hosts = blockLocations[i].getHosts();System.out.println("block_" + i + "_location:" + hosts[0]);}//释放资源fs.close();}以上就是本文关于HDFS的Java API的访问方式实例代码的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！