本文研究的主要是HDFS的Java API的訪問方式，具體代碼如下所示，有詳細註釋。
最近的節奏有點兒快，等有空的時候把這個封裝一下
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.FileUtil;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hdfs.DistributedFileSystem;import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
/** * 獲取HDFS文件系統* @return * @throws IOException * @throws URISyntaxException */public static FileSystem getFileSystem() throws IOException, URISyntaxException{//read config fileConfiguration conf = new Configuration();//返回默認文件系統//如果在Hadoop集群下運行，使用此種方法可以直接獲取默認文件系統//FileSystem fs = FileSystem.get(conf);//指定的文件系統地址URI uri = new URI("hdfs://hy:9000");//返回指定的文件系統//如果在本地測試，需要使用此種方法獲取文件系統FileSystem fs = FileSystem.get(uri, conf);return fs;}/** * 創建文件目錄* @throws Exception */public static void mkdir() throws Exception{//獲取文件系統FileSystem fs = getFileSystem();//創建文件目錄fs.mkdirs(new Path("hdfs://hy:9000/hy/weibo"));//釋放資源fs.close();}/** * 刪除文件或者文件目錄* @throws Exception */public static void rmdir() throws Exception{//獲取文件系統FileSystem fs = getFileSystem();//刪除文件或者文件目錄fs.delete(new Path("hdfs://hy:9000/hy/weibo"), true);//釋放資源fs.close();}/** * 獲取目錄下所有文件* @throws Exception */public static void listAllFile() throws Exception{//獲取文件系統FileSystem fs = getFileSystem();//列出目錄內容FileStatus[] status = fs.listStatus(new Path("hdfs://hy:9000/hy/"));//獲取目錄下所有文件路徑Path[] listedPaths = FileUtil.stat2Paths(status);//循環讀取每個文件for (Path path : listedPaths) {System.out.println(path);}//釋放資源fs.close();}/** * 將文件上傳至HDFS * @throws Exception */public static void copyToHDFS() throws Exception{//獲取文件對象FileSystem fs = getFileSystem();//源文件路徑是Linux下的路徑Path srcPath = new Path("/home/hadoop/temp.jar");//如果需要在windows下測試，需要改為Windows下的路徑，比如E://temp.jarPath srcPath = new Path("E://temp.jar");//目的路徑Path dstPath = new Path("hdfs://hy:9000/hy/weibo");//實現文件上傳fs.copyFromLocalFile(srcPath, dstPath);//釋放資源fs.close();}/** * 從HDFS上下載文件* @throws Exception */public static void getFile() throws Exception{//獲得文件系統FileSystem fs = getFileSystem();//源文件路徑Path srcPath = new Path("hdfs://hy:9000/hy/weibo/temp.jar");//目的路徑，默認是Linux下的//如果在Windows下測試，需要改為Windows下的路徑，如C://User/andy/Desktop/Path dstPath = new Path("D://");//下載HDFS上的文件fs.copyToLocalFile(srcPath, dstPath);//釋放資源fs.close();}/** * 獲取HDFS集群點的信息* @throws Exception */public static void getHDFSNodes() throws Exception{//獲取文件系統FileSystem fs = getFileSystem();//獲取分佈式文件系統DistributedFileSystem hdfs = (DistributedFileSystem)fs;//獲取所有節點DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();//循環比遍歷for (int i = 0; i < dataNodeStats.length; i++) {System.out.println("DataNote_" + i + "_Name:" + dataNodeStats[i].getHostName());}//釋放資源fs.close();}/** * 查找某個文件在HDFS集群的位置* @throws Exception */public static void getFileLocal() throws Exception{//獲取文件系統FileSystem fs = getFileSystem();//文件路徑Path path = new Path("hdfs://hy:9000/hy/weibo/temp.jar");//獲取文件目錄FileStatus fileStatus = fs.getFileStatus(path);//獲取文件塊位置列表BlockLocation[] blockLocations = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());//循環輸出塊信息for (int i = 0; i < blockLocations.length; i++) {String[] hosts = blockLocations[i].getHosts();System.out.println("block_" + i + "_location:" + hosts[0]);}//釋放資源fs.close();}以上就是本文關於HDFS的Java API的訪問方式實例代碼的全部內容，希望對大家有所幫助。感興趣的朋友可以繼續參閱本站其他相關專題，如有不足之處，歡迎留言指出。感謝朋友們對本站的支持！