fts

목차 [TOC]

Dhamma 전문 검색 도구

• 주요 주소 : https://vpnry.github.io/fts
• 오픈 소스 코드

정보

• Pāḷi Tipiṭaka 연구 및 기타 Dhamma 리소스를위한 전문 검색 도구
• SQLITE3 FTS5의 힘을 사용합니다

특허

PTS Pali English Dictionary , Roman Pāḷi Tipiṭaka Text (VRI Roman 버전) 등과 같은이 앱에 사용 된 일부 자료는 무료 배포 및 비상업적 만 사용됩니다.

따라서이 프로젝트는이 라이센스에 따라 공개되어야합니다.

 NonCommercial-ShareAlike 4.0 International (CC NC-SA 4.0)

감사의 말

• VRI의 Digital Pāḷi 텍스트 버전이 지난번에 VRI로부터 Digial Pāḷi tipiṭaka 텍스트를 사용 하여이 속성으로 무료 배포를 위해 허가를 받았습니다. 그래서 우리는 또한이 프로젝트를 위해 여기에 넣었습니다.

 *********************************
This tipitaka digital text version copy right Vipassana Research Institute ("VRI"), Mumbai India.
Used by permission of VRI gratefully acknowledged.
*********************************

• Pali Script Converter (PaliscriptConverter.js) : https://tipitaka.app에서 저자의 허가와 함께 사용됩니다.

 /**
 * Copyright Path Nirvana 2018
 * The code and character mapping defined in this file can not be used for any commercial purposes.
 * Permission from the auther is required for all other purposes.
 */

• PTS PED 사전

pts pali-enllish 사전 buddhadust_pts_ped.utf8.txt는 Buddhadust에서 얻습니다

Corrected reprint © The Pali Text Society
Commercial Rights Reserved
Creative Commons Licence by-nc/3.0/

• 색인 데이터 소스

readme.html의 전체 파일 목록을 참조하십시오

이름	원천
pāaki tipiṭaka 텍스트	https://tipitaka.app에 의해 2662 파일로 나뉘어져 있습니다 (중고 Pāḷi tipiṭaka 텍스트 VRI 버전)
pā .i 사전	+ PT PED Buddhadust_pts_ped.utf8.tx Buddhadust + siongui/data github 저장소 : vi-su-pali_viet_abhi_terms.tsv vi-su-pali_viet_dictionary.tsv vi-su-pali_viet_vinaya_terms.tsv
Pa-auk 명상 매뉴얼	일부 pa-auk 숲 수도원 명상 매뉴얼 전자 책 파일 목록 참조
tam t ḷng pāại việt	TAN TANG PALI VIET 에서 Tipiṭaka 프로젝트의 베트남어 번역 (현재는 아직 완료되지 않았습니다.)에서 대부분의 파일은 다음에서 검색됩니다 : https://tamtangpaliviet.net/ttpv_bandich.htm
다른 데이터베이스	개인 전자 책과 같은 다른 기타 데이터베이스, Webster의 개정되지 않은 사전 (1913) (이 버전은 현재 공개 도메인에 있습니다) 등은 파일 크기가 크고이 온라인 버전에서는 사용할 수 없습니다.

오프라인 사용을 위해 다운로드하십시오

• 요구 사항 : SQLITE3 FTS5 확장자가 활성화 된 PHP 서버 (최근 PHP 버전은 요구 사항을 충족해야합니다)

• 다운로드 링크 (아직 공개 릴리스에는 사용할 수 없습니다) :이 저장소

• 참고 : 파일 크기 제한으로 인해 /데이터 폴더 리포지토리에 모든 .sqlite3 파일을 zaped습니다. 사용하기 전에 압축을 풀어야합니다. 터미널 명령을 사용하여 압축을 풀면이 unzip -qq './data/*.zip' 사용해보십시오. 더 많은 폴더를 만들지 마십시오.

• 따라서 데이터 폴더에는 이와 같은 내용 (및 기타 파일)이 포함됩니다. :

 data
├── paaukmed.sqlite3
├── palidict.sqlite3
├── tptk.sqlite3
├── ttpv_budsas.net.sqlite3
...other files...

• Android에서는 Php 및 Apache2 서버 패키지와 함께 Termux 앱을 사용할 수 있습니다. SQLITE3 FTS5 확장자를 지원하는 한 다른 준비된 올인원 PHP 서버 앱을 사용할 수 있습니다.

• iPad에서는 Phpwin 앱과 함께이 앱을 사용할 수 있습니다.

자신의 전문 검색 데이터베이스를 구축하십시오

일반적으로 전체 텍스트 검색 앱을 구축하려면 다음 단계를 수행해야합니다.

• Step 1: gather documents into one place
• Step 2: convert them into plain .txt files, do "data clean" etc.
• Step 3: create an indexed database
• Step 4: search UI or CLI for the indexed database

예를 들어, 우리는 SQLITE3 FTS5 전원 전체 텍스트 검색 앱을 구축합니다.

1 단계 : 문서를 한 곳으로 수집하십시오

• 데이터를 수집 할 때 복제 된 파일을 확인하고 제거 할 수 있습니다. Ubuntu에서는 fslint 앱을 사용하여 복제 된 파일을 찾을 수 있습니다.

인덱싱 전에 빈 파일과 빈 폴더를 제거하지 않으면 :

• 데이터베이스는 나중에 "내부 서버 오류" (코드 500)를 유발할 수 있습니다.

• 따라서 인덱싱 전에 제거하는 것이 좋습니다.

빈 디렉토리와 빈 파일을 제거하려면 ( 0 바이트 )

• 이 명령을 터미널에서 사용할 수 있습니다.

  # Find empty files
  find . -type f -size 0b -print 
  find . -type f -size 0b -delete
  
  # Find empty dirs
  find . -empty -type d -print
  find . -empty -type d -delete

"." 현재 디렉토리입니다.

-print 가있는 첫 번째는 항목을 나열하는 것입니다 (드라이 런) 항목 만 가능하면 괜찮은 경우 -delete 옵션과 함께 다음 명령을 사용하십시오. 일치하는 항목을 삭제합니다.

2 단계 : 일반 .txt 파일로 변환하고 "데이터 청정"등을 수행합니다.

• 시스템 요구 사항 : Python3 , Java

• tika-app.jar (https://tika.apache.org에서 다운로드)를 사용하여 배치 모드가있는 TXT 파일로 문서를 변환 할 수 있습니다.

 # Read Getting Started with Apache Tika 
 # from https://tika.apache.org for more info
java -jar tika-app.jar -t -i < inputDirectory > -o < outputDirectory >

• 원시 변환 파일은 인덱싱에 적합하지 않으므로 이러한 텍스트 파일을 먼저 정리하려면 prepare-textdata.py 실행해야 할 수도 있습니다. 소스 코드 파일은 https://github.com/vpnry/dhammafts-dev-code를 확인하십시오.

  # This will help to fix broken lines
  python3 prepare-textdata.py

3 단계 : 인덱스 된 데이터베이스를 만듭니다

모든 문서를 일반 텍스트 파일로 성공적으로 변환 한 후 이제 Apache Lucene 사용하여 인덱스 데이터베이스를 작성 하거나이 경우 SQLITE3 FTS5를 사용하여 다음을 수행 할 수 있습니다.

위의 2 단계 에서 변환 된 TXT 파일에는 파선이 포함될 수 있습니다. prepare-textdata.py 사용하여 수정하십시오 (아직 완료되지 않은 경우).

python3 prepare-textdata.py

그런 다음 색인을 사용할 수 있습니다.

python3 index-all-others.py

4 단계 : 인덱스 된 데이터베이스에 대한 UI 또는 CLI 검색

축하해요! 거의 끝났습니다! :)

이제 인덱스 된 데이터베이스를 디렉토리 data 에 배치하십시오. index.php 파일에서 경로를 업데이트하십시오. 다음 줄을 찾아 케이스에 따라 업데이트하십시오.

 $ dbConnection = new SQLite3 ( " data/tptk.sqlite3 " );

부록 : 데이터 파일 목록

• 우리는이 앱을 무료 계정으로 Heroku에 배포했습니다. 스토리지 제한으로 인해이 공개 릴리스에 사용 가능한 모든 리소스가 색인화되는 것은 아닙니다. 다음은 색인 파일 목록입니다.

• Pa-auk 명상 매뉴얼 eBook

  paaukmed/
  ├── 01 Samatha and Rupa(A5).pdf
  ├── 02 Nama (newFont14.5.11)(A4).pdf
  ├── 03 Patticca(5thMethod)(newFont14.5.11).pdf
  ├── 04 Paticca (1st Method)(new font14.5.11).pdf
  ├── 05 PATHANA (new font14.5.11) 3.pdf
  ├── 06 CFMP(LakkhanaRasa)(2011).pdf
  ├── 07 Vipassana(all) (newFont14.5.11)3.pdf
  ├── 14 Ways En-Ch.pdf
  ├── 14 Ways Singhalese.pdf
  ├── NUTRIMENT- BORN MATERIALITY.pdf
  ├── Nutriment-born(Revised19.12.2012)5(Lg+A4).pdf
  ├── Recollection of Past Lives by Abhinna Etc.pdf
  └── Rupa+Nama Tables (all) 10.pdf
  
  0 directories, 14 files
  

• TAN TANG PALI VIET (Các b ản dịch của tỳ khưu indacanda, phd) 이중 언어 pāḷi-việt

 ttpv/
├── 28_Khp-Dh-Ud-It.pdf
├── 29_Sn.pdf
├── 30_Vv_Pv.pdf
├── 31_Thag_Thig.pdf
├── 32_Ja_I.pdf
├── 33_Ja_II.pdf
├── 34_Ja_III.pdf
├── 35_Nidd_I.pdf
├── 36_Nidd_II.pdf
├── 45_Mil.pdf
├── Indacanda - Kinh Tung Pali Le Bai Tam Bao.pdf
├── ttpv_01_Pr.pdf
├── ttpv_02_Pc_I.pdf
├── ttpv_03_Pc_II.pdf
├── ttpv_04_Mv_I.pdf
├── ttpv_05_Mv_II.pdf
├── ttpv_06_Cv_I.pdf
├── ttpv_07_Cv_II.pdf
├── ttpv_08_Par_I.pdf
├── ttpv_09_Par_II.pdf
├── ttpv_37_Pts_I.pdf
├── ttpv_38_Pts_II.pdf
├── ttpv_39_Ap_I.pdf
├── ttpv_40_Ap_II.pdf
├── ttpv_41_Ap_III.pdf
├── ttpv_42_Bv&Cp.pdf
└── ttpv_bkn_ptm Gioi Bon Tkn.pdf

0 directories, 27 files

피드백

• 제안이 있거나 버그를 찾은 경우 Google 양식 에서 피드백을 제공 할 수 있습니다.

우리 모두가 Dhamma를 빠르게 이해하고 연습 할 수 있기를 바랍니다. 모두 잘하고 행복하기를 바랍니다!