Anteriormente, implementé el uso de transmisiones para descargar archivos HTTP y FTP al área local, y también implementé la carga de archivos locales a HDFS.
Los archivos FTP y HTTP se transfieren a HDFS, y no es necesario copiar los archivos FTP y HTTP a localmente y luego cargarlos en HDFS. De hecho, el principio de esto es muy simple. El disco duro local, solo deje que la memoria complete el proceso de transferencia.
Aquí están los enlaces a las herramientas anteriores:
herramienta HTTP
Descripción del enlace de la herramienta FTP
El código es el siguiente:
import java.io.inputstream; import java.io.outputstream; importar java.io.ioexception; ""; String HDFSFILEPATH) {this.hdfsfilePath = HDFSFILEPATH; ; head = head; ); FilePath; hdfsutil.gethdfsnode ()+hdfsutil.gethdfspath ()); .sethadoopDefault ("./hadoop-default.xml"); filePath = ""; FTP HostName = Args [1]; /HDFS Path localPath = args [5]; // Si guarda localmente, guarda n líneas antes, si no se guardan, complete 0} Catch (Exception e) {System.out.println ("[Filetrans]: ¡Error de entrada args!"); } FileTrans fileTrans = new FileTrans (Head, HostName, FilePath, HDFSNode, HDFSFILEPATH); head.equals ("ftp")) {system.out .println ("fileTrans ftp null"); "https")) {system.out.println ("fileTrans ftp null"); Muestras> 0) {fileTrans.ftp.WriteStream (InStream, LocalPath, Samples); > 0) {Filetrans.http.download (head + ": //" + hostname + "/" + filepath, localpath, muestras); if (head == "ftp") {fileTrans.ftp .disconnect (); } System.out.println ("[Filetrans]: ¡el éxito de File Trans!");Si hay algún problema con la compilación, se menciona en el artículo en la herramienta Hadoop. Por favor, cite usted mismo.
Esta herramienta puede transferir FTP o HTTP a HDFS, y guardar las primeras líneas n localmente para su análisis
Lo anterior es todo el contenido descrito en este artículo.
Tómese un tiempo para compartir el artículo con sus amigos o deje un comentario. ¡Te agradeceremos sinceramente por tu apoyo!