fts

目錄[TOC]

佛教全文搜索工具

• 主要地址：https：//vpnry.github.io/fts
• 開源代碼

資訊

• PāḷiTipiṭaka研究和其他Dhamma資源的全文搜索工具
• 它使用sqlite3 fts5的力量

執照

此應用中使用的一些材料，例如PTS Pali English詞典，RomanpāḷiTipiṭaka文本（VRI Roman版本），等等……僅用於免費分發和非商業。

因此，該項目應在此許可下發布：

 NonCommercial-ShareAlike 4.0 International (CC NC-SA 4.0)

致謝

• 上次VRI的DigitalPāḷi文本版本，我們獲得了VRI的許可，以使用其DigialPāḷiIpiiṭaka文本免費分發，並使用此歸屬來免費分發。因此，我們還將其放在這里為這個項目：

 *********************************
This tipitaka digital text version copy right Vipassana Research Institute ("VRI"), Mumbai India.
Used by permission of VRI gratefully acknowledged.
*********************************

• pali腳本轉換器（paliscriptConverter.js）：來自https：//tipitaka.app隨作者的許可使用。

 /**
 * Copyright Path Nirvana 2018
 * The code and character mapping defined in this file can not be used for any commercial purposes.
 * Permission from the auther is required for all other purposes.
 */

• PTS PED詞典

pts pali英語詞典buddhadust_pts_pps_ped.utf8.txt來自佛教

Corrected reprint © The Pali Text Society
Commercial Rights Reserved
Creative Commons Licence by-nc/3.0/

• 索引數據源

請參閱readme.html中的完整文件列表

姓名	來源
PāḷiTipiṭaka文字	由https://tipitaka.app分為2662個文件（使用的數字pāḷiipiṭakatext vri版本）
pāḷi字典	+ pts ped buddhadust_pts_ped.utf8.tx來自buddhadust + siongui/data github存儲庫： vi-su-pali_viet_abhi_terms.tsv vi-su-pali_viet_dictionary.tsv vi-su-pali_viet_vinaya_terms.tsv
PA-AUK冥想手冊	一些pa-auk森林修道院冥想手冊請參閱文件列表
tamtạngpāḷiviệt	Tipiṭaka項目的越南語翻譯（目前尚未完成。
其他數據庫	其他一些其他數據庫，例如我們的個人電子書，Webster修訂的未刪節字典（1913年）（此版本現在在公共領域中）等...它們的文件大小很大，並且在此在線版本上可能無法使用。

下載以供離線使用

• 要求：啟用帶有SQLITE3 FTS5擴展名的PHP服務器（最新版本的PHP應滿足要求）

• 下載鏈接（尚未公開發布）：此存儲庫

• 注意：由於文件大小的限制，我們將所有.sqlite3文件列為 /數據文件夾存儲庫中的所有.sqlite3文件。使用之前，您需要解開它們。如果您使用終端命令進行解壓縮，可以嘗試使用此unzip -qq './data/*.zip' ，請不要製作更多文件夾。

• 因此，數據文件夾將包含類似的內容（＆其他文件）。

 data
├── paaukmed.sqlite3
├── palidict.sqlite3
├── tptk.sqlite3
├── ttpv_budsas.net.sqlite3
...other files...

• 在Android上，我們可以將Termux應用與PHP和Apache2服務器軟件包一起使用。只要支持SQLITE3 FTS5擴展名，您就可以使用任何其他現成的多合一PHP服務器應用程序。

• 在iPad上，我們可以將此應用與phpwin應用一起使用。

構建自己的全文搜索數據庫

通常，要構建全文搜索應用程序，您需要執行以下步驟：

• Step 1: gather documents into one place
• Step 2: convert them into plain .txt files, do "data clean" etc.
• Step 3: create an indexed database
• Step 4: search UI or CLI for the indexed database

例如，在這裡，我們將構建一個sqlite3 fts5驅動的全文搜索應用程序：

步驟1：將文件收集到一個地方

• 收集數據時，您可能需要檢查並刪除重複的文件。在Ubuntu上，我們可以使用FSLINT應用程序查找重複的文件。

如果您在索引之前不刪除空白文件和空文件夾：

• 您的數據庫可能會導致“內部服務器錯誤” （代碼500）。

• 因此，建議您在索引之前刪除它們。

刪除空目錄和空白文件（ 0字節）

• 我們可以在終端中使用這些命令：

  # Find empty files
  find . -type f -size 0b -print 
  find . -type f -size 0b -delete
  
  # Find empty dirs
  find . -empty -type d -print
  find . -empty -type d -delete

這 ”。”是當前目錄。

只有-print的第一個具有-print的項目（乾式運行）項目，如果您可以使用，然後將下一個命令與-delete選項一起使用。它將刪除匹配的項目。

步驟2：將它們轉換為普通.txt文件，執行“數據清潔”等

• 系統要求： Python3 ， Java

• 您可以使用tika-app.jar （從https://tika.apache.org下載）將文檔轉換為具有批處理模式的TXT文件。

 # Read Getting Started with Apache Tika 
 # from https://tika.apache.org for more info
java -jar tika-app.jar -t -i < inputDirectory > -o < outputDirectory >

• 原始轉換的文件不適合索引，您可能需要運行prepare-textdata.py首先清潔這些文本文件。查看https://github.com/vpnry/dhammafts-dev-code中的源代碼文件。

  # This will help to fix broken lines
  python3 prepare-textdata.py

步驟3：創建一個索引數據庫

成功將所有文檔轉換為純文本文件後，您現在可以使用Apache Lucene創建索引數據庫，或者在這種情況下，我們只需使用sqlite3 fts5來做到這一點：

在上面的步驟2中，轉換後的TXT文件可能包含斷線，使用prepare-textdata.py修復它們（如果您尚未完成）：

python3 prepare-textdata.py

之後，您可以索引它們：

python3 index-all-others.py

步驟4：搜索UI或CLI查看索引數據庫

恭喜！快要完成了！ :)

現在，只需將索引數據庫放置到目錄data即可。並在index.php文件中更新其路徑。查找後續行並將其相應地更新為您的案例。

 $ dbConnection = new SQLite3 ( " data/tptk.sqlite3 " );

附錄：數據文件列表

• 我們用免費帳戶將此應用程序部署在Heroku上。由於存儲限制，並非所有可用資源都索引了此公開版本。這是索引文件列表：

• PA-AUK冥想手冊電子書

  paaukmed/
  ├── 01 Samatha and Rupa(A5).pdf
  ├── 02 Nama (newFont14.5.11)(A4).pdf
  ├── 03 Patticca(5thMethod)(newFont14.5.11).pdf
  ├── 04 Paticca (1st Method)(new font14.5.11).pdf
  ├── 05 PATHANA (new font14.5.11) 3.pdf
  ├── 06 CFMP(LakkhanaRasa)(2011).pdf
  ├── 07 Vipassana(all) (newFont14.5.11)3.pdf
  ├── 14 Ways En-Ch.pdf
  ├── 14 Ways Singhalese.pdf
  ├── NUTRIMENT- BORN MATERIALITY.pdf
  ├── Nutriment-born(Revised19.12.2012)5(Lg+A4).pdf
  ├── Recollection of Past Lives by Abhinna Etc.pdf
  └── Rupa+Nama Tables (all) 10.pdf
  
  0 directories, 14 files
  

• Tam Tang Pali Viet（CácBảndịChcủatỳkhưuindacanda，Phd）雙語pāḷi-việt

 ttpv/
├── 28_Khp-Dh-Ud-It.pdf
├── 29_Sn.pdf
├── 30_Vv_Pv.pdf
├── 31_Thag_Thig.pdf
├── 32_Ja_I.pdf
├── 33_Ja_II.pdf
├── 34_Ja_III.pdf
├── 35_Nidd_I.pdf
├── 36_Nidd_II.pdf
├── 45_Mil.pdf
├── Indacanda - Kinh Tung Pali Le Bai Tam Bao.pdf
├── ttpv_01_Pr.pdf
├── ttpv_02_Pc_I.pdf
├── ttpv_03_Pc_II.pdf
├── ttpv_04_Mv_I.pdf
├── ttpv_05_Mv_II.pdf
├── ttpv_06_Cv_I.pdf
├── ttpv_07_Cv_II.pdf
├── ttpv_08_Par_I.pdf
├── ttpv_09_Par_II.pdf
├── ttpv_37_Pts_I.pdf
├── ttpv_38_Pts_II.pdf
├── ttpv_39_Ap_I.pdf
├── ttpv_40_Ap_II.pdf
├── ttpv_41_Ap_III.pdf
├── ttpv_42_Bv&Cp.pdf
└── ttpv_bkn_ptm Gioi Bon Tkn.pdf

0 directories, 27 files

回饋

• 如果您有任何建議或發現的錯誤，則可以在Google表單上提供反饋。

願我們大家能夠迅速理解和練習佛法。願你們都過得愉快！