fts

目次[TOC]

Dhammaフルテキスト検索ツール

• メインアドレス：https：//vpnry.github.io/fts
• オープンソースコード

情報

• PāḷiTipiṭaka研究およびその他のDhammaリソースのための全文検索ツール
• SQLite3 FTS5のパワーを使用します

ライセンス

このアプリで使用されているいくつかの資料は、 PTS Pali English Dictionary 、RomanPāḷiTipiṭakaテキスト（VRI Romanバージョン）などです。

したがって、このプロジェクトはこのライセンスの下でリリースされるべきです。

 NonCommercial-ShareAlike 4.0 International (CC NC-SA 4.0)

謝辞

• VRIのDigitalPāḷiテキストバージョン前回は、VRIから、この属性を使用して無料配信のためにDigialPāḷiTipiṭakaテキストを使用する許可を得ました。したがって、このプロジェクトのためにここにも掲載しました。

 *********************************
This tipitaka digital text version copy right Vipassana Research Institute ("VRI"), Mumbai India.
Used by permission of VRI gratefully acknowledged.
*********************************

• Pali Script Converter （paliscriptconverter.js）：https：//tipitaka.appから著者の許可を得て使用します。

 /**
 * Copyright Path Nirvana 2018
 * The code and character mapping defined in this file can not be used for any commercial purposes.
 * Permission from the auther is required for all other purposes.
 */

• PTS Ped Dictionary

PTS PALI-ENGLISH DICTIONARY Budderadust_pts_ped.utf8.txtは仏教から入手しています

Corrected reprint © The Pali Text Society
Commercial Rights Reserved
Creative Commons Licence by-nc/3.0/

• インデックス付きデータソース

readme.htmlの完全なファイルリストを参照してください

名前	ソース
PāḷiTipiṭakaテキスト	https://tipitaka.appによって2662ファイルに分かれています（デジタルpāḷitipiṭakaテキストVRIバージョン）
pāḷi辞書	+ pts ped buddhadust_pts_ped.utf8.tx from buddhadust + siongui/data githubリポジトリ： VI-SU-PALI_VIET_ABHI_TERMS.TSV vi-su-pali_viet_dictionary.tsv vi-su-pali_viet_vinaya_terms.tsv
Pa-auk瞑想マニュアル	いくつかのPa-auk森林修道院瞑想マニュアル電子ブックはファイルリストを参照してください
tamtạngpāḷiviệt	Tam Tang Pali Vietから、Tipiṭakaプロジェクトのベトナム語翻訳（現在はまだすべて完成していません。）、ほとんどのファイルはhttps://tamtangpaliviet.net/ttpv/ttpv_bandich.htmから取得されています。
他のデータベース	私たちの個人的な電子書籍、Websterの修正された辞書（1913）（このバージョンは現在パブリックドメインにあります）などの他のいくつかのその他のデータベースなど...ファイルサイズが大きく、このオンラインバージョンでは利用できない場合があります。

オフラインでの使用のためにダウンロードしてください

• 要件：SQLite3 FTS5拡張機能を備えたPHPサーバー

• ダウンロードリンク（まだ公開されていない）：このリポジトリ

• 注：ファイルサイズの制限があるため、 /dataフォルダーリポジトリのすべての.sqlite3ファイルをzipしました。使用する前にそれらを解凍する必要があります。ターミナルコマンドを使用して解凍する場合、このunzip -qq './data/*.zip'を試すことができます。より多くのフォルダーを作成しないでください。

• したがって、データフォルダーにはこのようなもの（および他のファイル）が含まれます。

 data
├── paaukmed.sqlite3
├── palidict.sqlite3
├── tptk.sqlite3
├── ttpv_budsas.net.sqlite3
...other files...

• Androidでは、PHPおよびApache2サーバーパッケージを使用してTermuxアプリを使用できます。 SQLite3 FTS5拡張機能をサポートする限り、他の既製のオールインワンPHPサーバーアプリを使用できます。

• iPadでは、このアプリをphpwinアプリで使用できます。

独自のフルテキスト検索データベースを作成します

一般に、全文検索アプリを構築するには、これらの手順を実行する必要があります。

• Step 1: gather documents into one place
• Step 2: convert them into plain .txt files, do "data clean" etc.
• Step 3: create an indexed database
• Step 4: search UI or CLI for the indexed database

ここでは、たとえば、SQLite3 FTS5搭載の全文検索アプリを構築します。

ステップ1：ドキュメントを1つの場所に収集します

• データを収集するときは、重複したファイルを確認して削除することができます。 Ubuntuでは、 FSLINTアプリを使用して複製されたファイルを見つけることができます。

インデックス作成前に空白のファイルや空のフォルダーを削除しない場合：

• データベースは、後で「内部サーバーエラー」 （コード500）を引き起こす可能性があります。

• そのため、インデックスを作成する前に削除することをお勧めします。

空のディレクトリと空白のファイルを削除する（ 0バイト）

• これらのコマンドをターミナルで使用できます。

  # Find empty files
  find . -type f -size 0b -print 
  find . -type f -size 0b -delete
  
  # Find empty dirs
  find . -empty -type d -print
  find . -empty -type d -delete

「。」現在のディレクトリです。

-printを持つ最初のものは、アイテムをリスト（ドライラン）のみにリストすることです。それで問題がない場合は、 -deleteオプションで次のコマンドを使用します。一致したアイテムが削除されます。

ステップ2：それらをプレーン.txtファイルに変換し、「データクリーン」などを実行します

• システム要件： Python3 、 Java

• tika-app.jar （https://tika.apache.orgからダウンロード）を使用して、バッチモードでドキュメントをTXTファイルに変換できます。

 # Read Getting Started with Apache Tika 
 # from https://tika.apache.org for more info
java -jar tika-app.jar -t -i < inputDirectory > -o < outputDirectory >

• RAW変換されたファイルはインデックス作成に適していません。最初にこれらのテキストファイルをクリーンにするには、 prepare-textdata.pyを実行する必要がある場合があります。ソースコードファイルについては、https://github.com/vpnry/dhammafts-dev-codeを確認してください。

  # This will help to fix broken lines
  python3 prepare-textdata.py

ステップ3：インデックス付きデータベースを作成します

すべてのドキュメントをプレーンテキストファイルに正常に変換した後、 Apache Luceneを使用してインデックスデータベースを作成できるようになりました。この場合、 SQLite3 FTS5を使用して使用します。

上記のステップ2では、変換されたTXTファイルに壊れた線が含まれている場合がありますprepare-textdata.pyを使用して修正します（まだ完了していない場合）。

python3 prepare-textdata.py

その後、あなたはそれらをインデックスすることができます：

python3 index-all-others.py

ステップ4：インデックス付きデータベースのUIまたはCLIを検索

おめでとう！もうやった！ :)

インデックス付きデータベースをディレクトリdataに配置するだけです。 index.phpファイルでパスを更新します。次の行を見つけて、それに応じてケースに更新してください。

 $ dbConnection = new SQLite3 ( " data/tptk.sqlite3 " );

付録：データファイルリスト

• このアプリをHerokuに無料アカウントで展開しました。ストレージの制限により、利用可能なすべてのリソースがこのパブリックリリースのためにインデックスが付けられているわけではありません。インデックス付きファイルリストは次のとおりです。

• Pa-auk瞑想マニュアル電子ブック

  paaukmed/
  ├── 01 Samatha and Rupa(A5).pdf
  ├── 02 Nama (newFont14.5.11)(A4).pdf
  ├── 03 Patticca(5thMethod)(newFont14.5.11).pdf
  ├── 04 Paticca (1st Method)(new font14.5.11).pdf
  ├── 05 PATHANA (new font14.5.11) 3.pdf
  ├── 06 CFMP(LakkhanaRasa)(2011).pdf
  ├── 07 Vipassana(all) (newFont14.5.11)3.pdf
  ├── 14 Ways En-Ch.pdf
  ├── 14 Ways Singhalese.pdf
  ├── NUTRIMENT- BORN MATERIALITY.pdf
  ├── Nutriment-born(Revised19.12.2012)5(Lg+A4).pdf
  ├── Recollection of Past Lives by Abhinna Etc.pdf
  └── Rupa+Nama Tables (all) 10.pdf
  
  0 directories, 14 files
  

• Tam Tang Pali Viet（CácBảnDịChCủATỳKHưUINDACANDA、PHD）バイリンガルPāḷi-Việt

 ttpv/
├── 28_Khp-Dh-Ud-It.pdf
├── 29_Sn.pdf
├── 30_Vv_Pv.pdf
├── 31_Thag_Thig.pdf
├── 32_Ja_I.pdf
├── 33_Ja_II.pdf
├── 34_Ja_III.pdf
├── 35_Nidd_I.pdf
├── 36_Nidd_II.pdf
├── 45_Mil.pdf
├── Indacanda - Kinh Tung Pali Le Bai Tam Bao.pdf
├── ttpv_01_Pr.pdf
├── ttpv_02_Pc_I.pdf
├── ttpv_03_Pc_II.pdf
├── ttpv_04_Mv_I.pdf
├── ttpv_05_Mv_II.pdf
├── ttpv_06_Cv_I.pdf
├── ttpv_07_Cv_II.pdf
├── ttpv_08_Par_I.pdf
├── ttpv_09_Par_II.pdf
├── ttpv_37_Pts_I.pdf
├── ttpv_38_Pts_II.pdf
├── ttpv_39_Ap_I.pdf
├── ttpv_40_Ap_II.pdf
├── ttpv_41_Ap_III.pdf
├── ttpv_42_Bv&Cp.pdf
└── ttpv_bkn_ptm Gioi Bon Tkn.pdf

0 directories, 27 files

フィードバック

• 提案やバグが見つかった場合は、 Googleフォームでフィードバックを提供できます。

私たち全員がダンマを正しく、迅速に理解し、実践できるようになりますように。皆さんが元気で幸せになりますように！