Librarian

Библиотекарь

Я найду то, что было у тебя в уме, но там не было.

Обзор

Простые команды CLI в ваших текстовых файлах, которые вы хотите найти, с помощью умного применения методики полного текстового поиска без громоздкого программного обеспечения.

Импортируемые абстракции, обнаруженные в качестве команд CLI, предназначены для повторного использования в соответствии с вашими потребностями. Вы можете подключить их к своему сервису.

Утилита единого файла . Только Python и SQLite.

Требования

1. Python$ ./configure --enable-loadable-sqlite-extensions выполнил двоичные файлы SQLite с включенными расширениями для загрузки fts5 . Никаких дальнейших настроек не требуется в коде.
2. fts5stemmer.so - Составленная общая библиотека для индексации целевых файлов с предпочтительным языком.

Использование

Общие варианты

$ python librarian.py -h
usage: librarian.py [-h] [--db DB] [--table TABLE] [--debug] [--sql-trace] {index,match,update} ...

optional arguments:
  -h, --help            show this help message and exit
  --db DB               DB file path. (default: librarian.db)
  --table TABLE         Table name to store files content. (default: documents)
  --debug               Flag of print additional events. (default: False)
  --sql-trace           Flag of print sqlite statements. (default: False)

available commands:
  Use -h with each of them to get help.

  {index,match,update}
    index               Command to build a db and index. Have to be run once.
    match               Command to run query on indexed files.
    update              Command to check if content is changed and update in the database.

Индексирование ваших текстовых файлов

$ python librarian.py index -h
usage: librarian.py index [-h] [--file-extensions string] [--language LANGUAGE] target

positional arguments:
  target                Directory or a file to build an index on.

optional arguments:
  -h, --help            show this help message and exit
  --file-extensions string
                        List of file extensions separated by space which to scan only. (default: frozenset({ ' .md ' }))
  --language LANGUAGE   list of available languages https://snowballstem.org/algorithms/ (default: russian)

Идет поиск

$ python librarian.py match -h
usage: librarian.py match [-h] [--limit LIMIT] [--fields field,...] [--format {raw,csv}] [--snippet 1, ' ' , ' ' , ' ' , ' ' ,10] query

positional arguments:
  query                 Sqlite query term executed by " MATCH " statement. Syntax can be found on https://sqlite.org/fts5.html#full_text_query_syntax.

optional arguments:
  -h, --help            show this help message and exit
  --limit LIMIT         Max count of results. (default: 5)
  --fields field,...    List of document fields to retrieve separated by comma, order is preserved. Choices: ( ' path ' , ' extension ' , ' size ' , ' created ' , ' modified ' , ' hash ' , ' rank ' , ' snippet ' , ' rowid ' ). (default:
                        ( ' path ' , ' snippet ' ))
  --format {raw,csv}    Choose a results output format. (default: csv)
  --snippet 1, ' ' , ' ' , ' ' , ' ' ,10
                        Snippet properties settings https://sqlite.org/fts5.html#the_snippet_function (default: None)

Обновление

$  python librarian.py update -h
usage: librarian.py update [-h] [--clean]

optional arguments:
  -h, --help  show this help message and exit
  --clean     Delete missing file records (default: False)

Пример

Давайте построим дБ.

$ python librarian.py --debug --sql-trace index ~ /Text-files-documents
SELECT fts5(NULL)
CREATE REAL TABLE IF NOT EXISTS documents 
                              USING FTS5(path, content, extension, sizee, created, modified, tokenize= ' snowball russian ' ) ;
Excluded: /home/user/Text-files-documents/Today
Excluded: /home/user/Text-files-documents/Yesterday
Indexed: /home/user/Text-files-documents/Project/README.md
...

И попробуйте.

$ python librarian.py match --fields created,path тесты
[(1620583081.3579128,
 ' /home/user/Text-files-documents/Project/README.md ' ,
 ' Для запуска тестов нужно поднимать докер-сервисыn   nn### Описание запуска ' ),
 ...