首页>编程相关>其他源码
下载

目录[TOC]

佛教全文搜索工具

  • 主要地址：https：//vpnry.github.io/fts
  • 开源代码

信息

  • PāḷiTipiṭaka研究和其他Dhamma资源的全文搜索工具
  • 它使用sqlite3 fts5的力量

执照

此应用中使用的一些材料，例如PTS Pali English词典，RomanpāḷiTipiṭaka文本（VRI Roman版本），等等……仅用于免费分发和非商业。

因此，该项目应在此许可下发布： 

 NonCommercial-ShareAlike 4.0 International (CC NC-SA 4.0)

致谢

  • 上次VRI的DigitalPāḷi文本版本，我们获得了VRI的许可，以使用其DigialPāḷiIpiiṭaka文本免费分发，并使用此归属来免费分发。因此，我们还将其放在这里为这个项目： 
 *********************************
This tipitaka digital text version copy right Vipassana Research Institute ("VRI"), Mumbai India.
Used by permission of VRI gratefully acknowledged.
*********************************
  • pali脚本转换器（paliscriptConverter.js）：来自https：//tipitaka.app随作者的许可使用。 
 /**
 * Copyright Path Nirvana 2018
 * The code and character mapping defined in this file can not be used for any commercial purposes.
 * Permission from the auther is required for all other purposes.
 */
  • PTS PED词典

pts pali英语词典buddhadust_pts_pps_ped.utf8.txt来自佛教


Corrected reprint © The Pali Text Society
Commercial Rights Reserved
Creative Commons Licence by-nc/3.0/
  • 索引数据源

请参阅readme.html中的完整文件列表

姓名来源
PāḷiTipiṭaka文字由https://tipitaka.app分为2662个文件（使用的数字pāḷiipiṭakatext vri版本）
pāḷi字典+ pts ped buddhadust_pts_ped.utf8.tx来自buddhadust

+ siongui/data github存储库：
vi-su-pali_viet_abhi_terms.tsv
vi-su-pali_viet_dictionary.tsv
vi-su-pali_viet_vinaya_terms.tsv
PA-AUK冥想手册一些pa-auk森林修道院冥想手册请参阅文件列表
tamtạngpāḷiviệt Tipiṭaka项目的越南语翻译（目前尚未完成。
其他数据库其他一些其他数据库，例如我们的个人电子书，Webster修订的未删节字典（1913年）（此版本现在在公共领域中）等...它们的文件大小很大，并且在此在线版本上可能无法使用。

下载以供离线使用

  • 要求：启用带有SQLITE3 FTS5扩展名的PHP服务器（最新版本的PHP应满足要求）

  • 下载链接（尚未公开发布）：此存储库

  • 注意：由于文件大小的限制，我们将所有.sqlite3文件列为 /数据文件夹存储库中的所有.sqlite3文件。使用之前，您需要解开它们。如果您使用终端命令进行解压缩，可以尝试使用此unzip -qq './data/*.zip' ，请不要制作更多文件夹。

  • 因此，数据文件夹将包含类似的内容（＆其他文件）。 

 data
├── paaukmed.sqlite3
├── palidict.sqlite3
├── tptk.sqlite3
├── ttpv_budsas.net.sqlite3
...other files...

  • 在Android上，我们可以将Termux应用与PHP和Apache2服务器软件包一起使用。只要支持SQLITE3 FTS5扩展名，您就可以使用任何其他现成的多合一PHP服务器应用程序。

  • 在iPad上，我们可以将此应用与phpwin应用一起使用。

构建自己的全文搜索数据库

通常，要构建全文搜索应用程序，您需要执行以下步骤：

  • Step 1: gather documents into one place
  • Step 2: convert them into plain .txt files, do "data clean" etc.
  • Step 3: create an indexed database
  • Step 4: search UI or CLI for the indexed database

例如，在这里，我们将构建一个sqlite3 fts5驱动的全文搜索应用程序：

步骤1：将文件收集到一个地方

  • 收集数据时，您可能需要检查并删除重复的文件。在Ubuntu上，我们可以使用FSLINT应用程序查找重复的文件。

如果您在索引之前不删除空白文件和空文件夹：

  • 您的数据库可能会导致“内部服务器错误” （代码500）。

  • 因此，建议您在索引之前删除它们。

删除空目录和空白文件（ 0字节）

  • 我们可以在终端中使用这些命令： 
  # Find empty files
  find . -type f -size 0b -print 
  find . -type f -size 0b -delete
  
  # Find empty dirs
  find . -empty -type d -print
  find . -empty -type d -delete

这 ”。”是当前目录。

只有-print的第一个具有-print的项目（干式运行）项目，如果您可以使用，然后将下一个命令与-delete选项一起使用。它将删除匹配的项目。

步骤2：将它们转换为普通.txt文件，执行“数据清洁”等

  • 系统要求： Python3 ， Java

  • 您可以使用tika-app.jar （从https://tika.apache.org下载）将文档转换为具有批处理模式的TXT文件。 

 # Read Getting Started with Apache Tika 
 # from https://tika.apache.org for more info
java -jar tika-app.jar -t -i < inputDirectory > -o < outputDirectory >
  • 原始转换的文件不适合索引，您可能需要运行prepare-textdata.py首先清洁这些文本文件。查看https://github.com/vpnry/dhammafts-dev-code中的源代码文件。 
  # This will help to fix broken lines
  python3 prepare-textdata.py

步骤3：创建一个索引数据库

成功将所有文档转换为纯文本文件后，您现在可以使用Apache Lucene创建索引数据库，或者在这种情况下，我们只需使用sqlite3 fts5来做到这一点：

在上面的步骤2中，转换后的TXT文件可能包含断线，使用prepare-textdata.py修复它们（如果您尚未完成）： 

python3 prepare-textdata.py

之后，您可以索引它们： 

python3 index-all-others.py

步骤4：搜索UI或CLI查看索引数据库

恭喜！快要完成了！ :)

现在，只需将索引数据库放置到目录data即可。并在index.php文件中更新其路径。查找后续行并将其相应地更新为您的案例。 

 $ dbConnection = new SQLite3 ( " data/tptk.sqlite3 " );

附录：数据文件列表

  • 我们用免费帐户将此应用程序部署在Heroku上。由于存储限制，并非所有可用资源都索引了此公开版本。这是索引文件列表：

  • PA-AUK冥想手册电子书

  paaukmed/
  ├── 01 Samatha and Rupa(A5).pdf
  ├── 02 Nama (newFont14.5.11)(A4).pdf
  ├── 03 Patticca(5thMethod)(newFont14.5.11).pdf
  ├── 04 Paticca (1st Method)(new font14.5.11).pdf
  ├── 05 PATHANA (new font14.5.11) 3.pdf
  ├── 06 CFMP(LakkhanaRasa)(2011).pdf
  ├── 07 Vipassana(all) (newFont14.5.11)3.pdf
  ├── 14 Ways En-Ch.pdf
  ├── 14 Ways Singhalese.pdf
  ├── NUTRIMENT- BORN MATERIALITY.pdf
  ├── Nutriment-born(Revised19.12.2012)5(Lg+A4).pdf
  ├── Recollection of Past Lives by Abhinna Etc.pdf
  └── Rupa+Nama Tables (all) 10.pdf
  
  0 directories, 14 files
  • Tam Tang Pali Viet（CácBảndịChcủatỳkhưuindacanda，Phd）双语pāḷi-việt 
 ttpv/
├── 28_Khp-Dh-Ud-It.pdf
├── 29_Sn.pdf
├── 30_Vv_Pv.pdf
├── 31_Thag_Thig.pdf
├── 32_Ja_I.pdf
├── 33_Ja_II.pdf
├── 34_Ja_III.pdf
├── 35_Nidd_I.pdf
├── 36_Nidd_II.pdf
├── 45_Mil.pdf
├── Indacanda - Kinh Tung Pali Le Bai Tam Bao.pdf
├── ttpv_01_Pr.pdf
├── ttpv_02_Pc_I.pdf
├── ttpv_03_Pc_II.pdf
├── ttpv_04_Mv_I.pdf
├── ttpv_05_Mv_II.pdf
├── ttpv_06_Cv_I.pdf
├── ttpv_07_Cv_II.pdf
├── ttpv_08_Par_I.pdf
├── ttpv_09_Par_II.pdf
├── ttpv_37_Pts_I.pdf
├── ttpv_38_Pts_II.pdf
├── ttpv_39_Ap_I.pdf
├── ttpv_40_Ap_II.pdf
├── ttpv_41_Ap_III.pdf
├── ttpv_42_Bv&Cp.pdf
└── ttpv_bkn_ptm Gioi Bon Tkn.pdf

0 directories, 27 files

反馈

  • 如果您有任何建议或发现的错误，则可以在Google表单上提供反馈。

愿我们大家能够迅速理解和练习佛法。愿你们都过得愉快！

展开
附加信息
相关应用
为您推荐
相关资讯 全部