fts

Índice [TOC]

Ferramenta de pesquisa de texto completo de Dhamma

• Endereço principal: https://vpnry.github.io/fts
• Código de código -fonte aberto

Informações

• Uma ferramenta completa de pesquisa de texto para Pāḷi Tipiṭaka Research e outros Recursos Dhamma
• Ele usa o poder do sqlite3 fts5

Licença

Alguns materiais usados ​​neste aplicativo, como o PTS Pali English Dictionary , o texto romano Pāḷi Tipiṭaka (versão romana VRI), etc ... são para distribuição livre e apenas não comercial.

Assim, este projeto deve ser divulgado sob esta licença:

 NonCommercial-ShareAlike 4.0 International (CC NC-SA 4.0)

Agradecimentos

• Versão digital de texto Pāḷi da VRI da última vez, obtivemos uma permissão da VRI para usar seu texto digial de Pāḷi Tipiṭaka para distribuição gratuita com esta atribuição. Então, também colocamos aqui para este projeto:

 *********************************
This tipitaka digital text version copy right Vipassana Research Institute ("VRI"), Mumbai India.
Used by permission of VRI gratefully acknowledged.
*********************************

• Pali Script Converter (PaliscriptConverter.js): de https://tipitaka.app usado com a permissão do autor.

 /**
 * Copyright Path Nirvana 2018
 * The code and character mapping defined in this file can not be used for any commercial purposes.
 * Permission from the auther is required for all other purposes.
 */

• Dicionário PET PED

PTS Pali-Ingle Dictionary Buddhadust_pts_ped.utf8.txt é obtido de Buddhadust

Corrected reprint © The Pali Text Society
Commercial Rights Reserved
Creative Commons Licence by-nc/3.0/

• Fonte de dados indexada

Veja a lista completa de arquivos no readme.html

Nome	Fonte
Pāḷi tipiṭaka texto	Dividido em 2662 arquivos por https://tipitaka.app (versão digital Pāḷi Tipiṭaka VERSÃO VRI)
Pāḷi Dictionary	+ PTS PED Buddhadust_pts_ped.utf8.tx de Buddhadust + SionGui/Data Github Repository: vi-su-pali_viet_abhi_terms.tsv vi-su-pali_viet_dictionary.tsv vi-su-pali_viet_vinaya_terms.tsv
Manual de meditação PA-AUK	Alguns e-books de meditação do mosteiro da floresta PA-AUK, consulte a lista de arquivos
Tam tạng pāḷi việt	Uma tradução vietnamita do projeto Tipiṭaka (atualmente ainda não está concluído.) De Tam Tang Pali Viet , a maioria dos arquivos é recuperada de: https://tamtangpaliviet.net/ttpv/ttpv_bandich.htm
Outros bancos de dados	Alguns outros bancos de dados diversos, como nossos e-books pessoais, o Dicionário Unabridged revisado de Webster (1913) (esta versão agora está em domínio público) etc ... que são grandes em tamanho de arquivo e podem não estar disponíveis nesta versão online.

Baixe para uso off-line

• Requisitos: o servidor PHP com a extensão SQLITE3 FTS5 ativada (uma versão recente do PHP deve atender aos requisitos)

• Download Link (ainda não disponível para lançamento público): este repositório

• Nota: Devido à limitação do tamanho do arquivo, abordamos todos os arquivos .SQLITE3 no repositório /pasta de dados. Você precisa descompê -los antes de usar. Se você usa o comando terminal para descompactar, pode tentar este unzip -qq './data/*.zip' , não faça mais pastas.

• Portanto, a pasta de dados contém algo assim (e outros arquivos)::

 data
├── paaukmed.sqlite3
├── palidict.sqlite3
├── tptk.sqlite3
├── ttpv_budsas.net.sqlite3
...other files...

• No Android, podemos usar o aplicativo Termux com pacotes de servidores PHP e Apache2. Você pode usar qualquer outro aplicativo de servidor PHP All-in-One pronto, desde que eles suportem a extensão SQLITE3 FTS5 .

• No iPad, podemos usar este aplicativo com o aplicativo Phpwin .

Construa seu próprio banco de dados de pesquisa de texto completo

Em geral, para criar um aplicativo de pesquisa de texto completo, você precisa fazer estas etapas:

• Step 1: gather documents into one place
• Step 2: convert them into plain .txt files, do "data clean" etc.
• Step 3: create an indexed database
• Step 4: search UI or CLI for the indexed database

Aqui, por exemplo, construiremos um aplicativo de pesquisa de texto completo com SQLITE3 FTS5:

Etapa 1: reunir documentos em um lugar '

• Ao coletar dados, convém verificar e remover arquivos duplicados. No Ubuntu, podemos usar o aplicativo FSLINT para encontrar arquivos duplicados.

Se você não remover arquivos em branco e pastas vazias antes de indexar:

• Seu banco de dados pode causar "erro interno do servidor" (código 500) posteriormente.

• Portanto, é recomendável que você os remova antes da indexação.

Para remover diretórios vazios e arquivos em branco ( 0 byte )

• Podemos usar esses comandos no terminal:

  # Find empty files
  find . -type f -size 0b -print 
  find . -type f -size 0b -delete
  
  # Find empty dirs
  find . -empty -type d -print
  find . -empty -type d -delete

O "." é diretório atual.

Os primeiros com -print são listar apenas itens (execução a seco), se você estiver bem, use os próximos comandos com a opção -Delete . Ele excluirá os itens correspondentes.

Etapa 2: converta -os em arquivos .txt simples, execute "dados limpos" etc.

• Requisitos do sistema: Python3 , Java

• Você pode usar tika-app.jar (download de https://tika.apache.org) para converter documentos em arquivos txt com o modo em lote.

 # Read Getting Started with Apache Tika 
 # from https://tika.apache.org for more info
java -jar tika-app.jar -t -i < inputDirectory > -o < outputDirectory >

• Os arquivos convertidos brutos não são bons para indexação, pode ser necessário executar prepare-textdata.py para limpar esses arquivos de texto primeiro. Verifique https://github.com/vpnry/dhammafts-dev-code para arquivos de código-fonte.

  # This will help to fix broken lines
  python3 prepare-textdata.py

Etapa 3: Crie um banco de dados indexado

Depois de converter com sucesso todos os seus documentos em arquivos de texto simples, agora você pode usar Apache Lucene para criar um banco de dados de índice ou, neste caso, simplesmente usamos o SQLITE3 FTS5 para fazê -lo:

Na etapa 2 acima, os arquivos TXT convertidos podem conter linhas quebradas, use prepare-textdata.py para corrigi-las (se você ainda não fez):

python3 prepare-textdata.py

Depois disso, você pode indexá -los:

python3 index-all-others.py

Etapa 4: Pesquise interface do usuário ou CLI pelo banco de dados indexado

Parabéns! Quase feito! :)

Agora basta colocar seus bancos de dados indexados nos data do diretório. E atualize seus caminhos no arquivo index.php . Encontre a linha a seguir e atualize -a de acordo com seus casos.

 $ dbConnection = new SQLite3 ( " data/tptk.sqlite3 " );

Apêndice: Lista de arquivos de dados

• Emprestamos este aplicativo no Heroku com uma conta gratuita. Devido à limitação de armazenamento, nem todos os recursos disponíveis são indexados para este lançamento público. Aqui estão as listas de arquivos indexados:

• Manual de meditação PA-AUK eBooks

  paaukmed/
  ├── 01 Samatha and Rupa(A5).pdf
  ├── 02 Nama (newFont14.5.11)(A4).pdf
  ├── 03 Patticca(5thMethod)(newFont14.5.11).pdf
  ├── 04 Paticca (1st Method)(new font14.5.11).pdf
  ├── 05 PATHANA (new font14.5.11) 3.pdf
  ├── 06 CFMP(LakkhanaRasa)(2011).pdf
  ├── 07 Vipassana(all) (newFont14.5.11)3.pdf
  ├── 14 Ways En-Ch.pdf
  ├── 14 Ways Singhalese.pdf
  ├── NUTRIMENT- BORN MATERIALITY.pdf
  ├── Nutriment-born(Revised19.12.2012)5(Lg+A4).pdf
  ├── Recollection of Past Lives by Abhinna Etc.pdf
  └── Rupa+Nama Tables (all) 10.pdf
  
  0 directories, 14 files
  

• Tam Tang Pali Viet (Các Bản DịCH Của Tỳ Khưu Indacanda, PhD) Bilíngue Pāḷi-Việt

 ttpv/
├── 28_Khp-Dh-Ud-It.pdf
├── 29_Sn.pdf
├── 30_Vv_Pv.pdf
├── 31_Thag_Thig.pdf
├── 32_Ja_I.pdf
├── 33_Ja_II.pdf
├── 34_Ja_III.pdf
├── 35_Nidd_I.pdf
├── 36_Nidd_II.pdf
├── 45_Mil.pdf
├── Indacanda - Kinh Tung Pali Le Bai Tam Bao.pdf
├── ttpv_01_Pr.pdf
├── ttpv_02_Pc_I.pdf
├── ttpv_03_Pc_II.pdf
├── ttpv_04_Mv_I.pdf
├── ttpv_05_Mv_II.pdf
├── ttpv_06_Cv_I.pdf
├── ttpv_07_Cv_II.pdf
├── ttpv_08_Par_I.pdf
├── ttpv_09_Par_II.pdf
├── ttpv_37_Pts_I.pdf
├── ttpv_38_Pts_II.pdf
├── ttpv_39_Ap_I.pdf
├── ttpv_40_Ap_II.pdf
├── ttpv_41_Ap_III.pdf
├── ttpv_42_Bv&Cp.pdf
└── ttpv_bkn_ptm Gioi Bon Tkn.pdf

0 directories, 27 files

Opinião

• Se você tiver alguma sugestão ou bugs encontrados, poderá fornecer feedback aqui no Formulário do Google .

Que todos possamos entender e praticar o Dhamma corretamente, rapidamente. Que todos vocês estejam bem e felizes!