零基礎寫Java知乎爬蟲之將抓取的內容儲存到本地

說到Java的本地存儲，肯定使用IO流進行操作。
首先，我們需要一個建立檔案的函數createNewFile：

複製代碼代碼如下:
public static boolean createNewFile(String filePath) {
boolean isSuccess = true;
// 如有則將"//"轉為"/",沒有則不產生任何變化
String filePathTurn = filePath.replaceAll("////", "/");
// 先過濾掉檔名
int index = filePathTurn.lastIndexOf("/");
String dir = filePathTurn.substring(0, index);
// 再建立資料夾
File fileDir = new File(dir);
isSuccess = fileDir.mkdirs();
// 建立文件
File file = new File(filePathTurn);
try {
isSuccess = file.createNewFile();
} catch (IOException e) {
isSuccess = false;
e.printStackTrace();
}
return isSuccess;
}

然後，我們需要一個寫入檔案的函數：

複製代碼代碼如下:
public static boolean writeIntoFile(String content, String filePath,
boolean isAppend) {
boolean isSuccess = true;
// 先過濾掉檔名
int index = filePath.lastIndexOf("/");
String dir = filePath.substring(0, index);
// 建立除文件的路徑
File fileDir = new File(dir);
fileDir.mkdirs();
// 再建立路徑下的文件
File file = null;
try {
file = new File(filePath);
file.createNewFile();
} catch (IOException e) {
isSuccess = false;
e.printStackTrace();
}
// 寫入文件
FileWriter fileWriter = null;
try {
fileWriter = new FileWriter(file, isAppend);
fileWriter.write(content);
fileWriter.flush();
} catch (IOException e) {
isSuccess = false;
e.printStackTrace();
} finally {
try {
if (fileWriter != null)
fileWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
}

return isSuccess;
}

我們把這兩個函數封裝到一個FileReaderWriter.java檔案中以便後續使用。
接著我們回到知乎爬蟲。
我們需要為知乎的Zhihu封裝類別加個函數，用來格式化寫入到本地時的排版。

複製代碼代碼如下:
public String writeString() {
String result = "";
result += "問題：" + question + "/r/n";
result += "描述：" + questionDescription + "/r/n";
result += "連結：" + zhihuUrl + "/r/n";
for (int i = 0; i < answers.size(); i++) {
result += "回答" + i + "：" + answers.get(i) + "/r/n";
}
result += "/r/n/r/n";
return result;
}

OK，這樣就差不多了，接下來吧mian方法中的System.out.println改成

複製代碼代碼如下:
// 寫入本機
for (Zhihu zhihu : myZhihu) {
FileReaderWriter.writeIntoFile(zhihu.writeString(),
"D:/知乎_編輯推薦.txt", true);
}

運行，便可以看到本來在控制台看到的內容已經被寫到了本地的txt檔案裡：

大體一看沒什麼問題，仔細看看發現問題：有太多的html標籤，主要是<b>和<br>。
我們可以在輸出的時候對這些標記進行處理。
先把<br>換成io串流裡面的/r/n，再把所有的html標籤都刪除，這樣看起來會清晰很多。

複製代碼代碼如下:
public String writeString() {
// 拼接寫入本機的字串
String result = "";
result += "問題：" + question + "/r/n";
result += "描述：" + questionDescription + "/r/n";
result += "連結：" + zhihuUrl + "/r/n";
for (int i = 0; i < answers.size(); i++) {
result += "回答" + i + "：" + answers.get(i) + "/r/n/r/n";
}
result += "/r/n/r/n/r/n/r/n";
// 將其中的html標籤進行篩選
result = result.replaceAll("<br>", "/r/n");
result = result.replaceAll("<.*?>", "");
return result;
}

這裡的replaceAll函數可以使用正規則，於是所有的<>標籤在最後就都被刪除了。