Sebelumnya, saya menerapkan penggunaan stream untuk mengunduh file HTTP dan FTP ke area lokal, dan juga menerapkan unggahan file lokal ke HDFS.
File FTP dan HTTP ditransfer ke HDFS, dan tidak perlu menyalin file FTP dan HTTP ke lokal dan kemudian mengunggahnya ke HDFS. Faktanya, prinsip hal ini sangat sederhana. Hard disk lokal, biarkan memori menyelesaikan proses transfer.
Berikut adalah tautan ke alat sebelumnya:
Alat HTTP
Deskripsi Tautan Alat FTP
Kodenya adalah sebagai berikut:
Impor Java.IO.InputStream; Impor Java.IO.OutputStream; Impor Java.IO.IOException; FileTrans kelas publik {private string head = ""; "; String hdfsfilePath) {this.hdfsfilePath = hdfsfilePath} public gethostname (string hdfsfilePath) {return this.hdfsfilePath; ;} public void sethead (string head) {this.head = head; head = this.hostname = hostname; );. filepath; hdfsutil.gethdfsnode ()+hdfsutil.gethdfspath ()); .setHadoopDefault ("./ Hadoop-Default.xml"); FilePath = "; FTP HostName = Args [1]; /HDFS Path LocalPath = Args [5]; // Jika Anda menyimpan secara lokal, simpan n baris sebelumnya, jika tidak disimpan, isi 0} catch (exception e) {System.out.println ("[Filetrans]: input args error!"); } Filetrans Filetrans = FileTrans baru (head, hostname, filepath, hdfsnode, hdfsfilePath); head.equals ("ftp")) {System.out .println ("Filetrans ftp null"); "https"))) {System.out.println ("Filetrans FTP Null"); Samplelines> 0) {filetrans.ftp.writeStream (instream, localpath, sampel); > 0) {filetrans.http.download (head + ": //" + hostname + "/" + filepath, localpath, sampel); if (head == "ftp") {filetrans.ftp .disconnect (); } System.out.println ("[FileTrans]: File Trans Success!");Jika ada masalah dengan kompilasi, itu disebutkan dalam artikel pada alat Hadoop. Harap kutip mereka sendiri.
Alat ini dapat mentransfer FTP atau HTTP ke HDFS, dan menyimpan jalur N pertama secara lokal untuk analisis
Di atas adalah semua konten yang dijelaskan dalam artikel ini.
Harap luangkan waktu untuk berbagi artikel dengan teman Anda atau tinggalkan komentar. Kami akan dengan tulus berterima kasih atas dukungan Anda!