Anteriormente, implementei o uso de fluxos para baixar os arquivos HTTP e FTP na área local e também implementei o upload de arquivos locais para HDFs.
Os arquivos FTP e HTTP são transferidos para HDFs e não há necessidade de copiar os arquivos FTP e HTTP para localmente e depois enviá -los para HDFS. De fato, o princípio dessa coisa é muito simples. O disco rígido local, apenas deixe a memória completar o processo de transferência.
Aqui estão os links para as ferramentas anteriores:
ferramenta http
Descrição do link da ferramenta FTP
O código é o seguinte:
Importar java.io.inputstream; importar java.io.outputStream; importar java.io.ioexception; classe pública Filetrans {private string head = ""; "" String hdfsfilepath) {this.hdfsfilepath = hdfsfilepath; ; Head = Head; ); filepath; hdfsutil.gethdfsnode ()+hdfsutil.gethdfspath ()); .SethadoopDefault ("/ Hadoop-Default.xml "); filepath = " FTP HostName = args [1]; /HDFS Path LocalPath = args [5]; // Se você salvar localmente, salve n linhas antes, se não for salvo, preencha 0} Catch (Exceção e) {System.out.println ("[FileTrans]: Erro de entrada Args!"); } Filetrans FILETRANS = NOVA FILETRANS (Nome do host, FilePath, HDFSNode, HDFSFilePath); head.equals ("ftp")) {System.out .println ("filetrans ftp null"); "https")) {System.out.println ("Filetrans ftp null"); Samplelines> 0) {FileTrans.ftp.WriteStream (Instiram, LocalPath, Amostras); > 0) {filetrans.http.download (cabeça + ": //" + hostname + "/" + filepath, local de pato, amostras); if (head == "ftp") {filetrans.ftp .disconnect (); } System.out.println ("[FileTrans]: Arquivo Sucesso!");Se houver algum problema com a compilação, ele é mencionado no artigo da ferramenta Hadoop. Por favor, cite -os você mesmo.
Esta ferramenta pode transferir FTP ou HTTP para HDFS e salvar as primeiras n linhas localmente para análise
O exposto acima é todo o conteúdo descrito neste artigo.
Reserve algum tempo para compartilhar o artigo com seus amigos ou deixar um comentário. Agradecemos sinceramente o seu apoio!