في السابق ، قمت بتنفيذ استخدامات التدفقات لتنزيل ملفات HTTP و FTP على المنطقة المحلية ، كما قمت بتنفيذ تحميل الملفات المحلية إلى HDFs.
يتم نقل ملفات FTP و HTTP إلى HDFS ، وليس هناك حاجة لنسخ ملفات FTP و HTTP إلى محليًا ثم تحميلها على HDFs. في الواقع ، فإن مبدأ هذا الشيء بسيط للغاية. القرص الصلب المحلي ، فقط دع الذاكرة تكمل عملية النقل.
فيما يلي روابط للأدوات السابقة:
أداة HTTP
وصف رابط أداة FTP
الرمز كما يلي:
استيراد java.io.inputstream ؛ استيراد java.io.outputstream ؛ "؛ String HdfsfilePath) {this.hdfilepath = hdfsfilepath ؛ ؛ الرأس = الرأس ؛ ) ؛ FilePath ؛ hdfsutil.gethdfsnode ()+hdfsutil.gethdfpath () .Sethadoopdefault ( FilePath = " ftp hostname = args [1] /HDFS PATH PATH LOCATION = args [5] // إذا قمت بحفظ خطوط N من قبل ، إذا لم يتم حفظه ، املأ 0} catch (استثناء e) {system.out.println ( } filtrans = filtrans new (Head ، HostName ، FilePath ، hdfsnode ، hdfilepath) ؛ head.equals ("ftp") {system.out .println ( "https")) {system.out.println ( العينات> 0) {filetrans.ftp.writeReam (instream ، localpath ، samples) ؛ > 0) {filetrans.http.download (head + ": //" + hostname + "/" + filepath ، localpath ، samples) ؛ if (head == "ftp") {filetrans.ftp .disconnect () ؛ } system.out.println (إذا كان هناك أي مشكلة في التجميع ، فسيتم ذكرها في المقالة على أداة Hadoop. من فضلك اقتبسهم بنفسك.
يمكن لهذه الأداة نقل FTP أو HTTP إلى HDFS ، وحفظ الخطوط الأولى المحلية للتحليل
ما سبق هو كل المحتوى الموضح في هذه المقالة.
يرجى قضاء بعض الوقت لمشاركة المقالة مع أصدقائك أو ترك تعليق. سنشكر بإخلاص على دعمكم!