lucilla

Lucilla

Lucilla é uma biblioteca de pesquisa de texto completo na memória para Kotlin.

Ele permite criar um índice de pesquisa de texto completo para obter dados que não precisam ser persistidos em um banco de dados. Você pode executar consultas de pesquisa contra o índice para encontrar documentos correspondentes rapidamente.

 import com.haroldadmin.lucilla.core.*

data class Book (
    @Id
    val id : Int ,
    val title : String ,
    val summary : String ,
)

val index = useFts(getBooks())

index.search( " Martian " ).map { searchResult ->
    val bookId = searchResult.documentId
    val book = getBook(bookId)
    // Show search result to the user
}

Lucilla está em desenvolvimento ativo. É um protótipo de estágio inicial e ainda não é adequado para o uso da produção.

Características

• Índice de FTs com eficiência de espaço baseado em trie patricia
• Pipeline de processamento de texto avançado com suporte para tokenização, capa, remoção de pontuação e muito mais.
• Processamento de texto extensível com etapas de pipeline personalizadas
• Classificação dos resultados da pesquisa usando pontuações TF-IDF
• Parsing de documentos personalizáveis ​​com capacidade de ignorar campos indesejados

Embora Lucilla tenha você coberto na maioria dos recursos básicos, falta alguns recursos avançados (mas planejados):

• Pesquisa difusa
• Aumentos de campo personalizados
• Processamento assíncrono

Uso

Dados de modelagem

Para usar os recursos do FTS da Lucilla, você deve primeiro modelar seus dados como uma classe.

Recomendamos o uso de classes de dados para esse fim, mas tudo deve funcionar desde que atenda aos seguintes requisitos:

• Deve ter um campo marcado @Id que pode ser analisado como um Int
• Deve ter uma ou mais outras propriedades que podem ser analisadas como String

 import com.haroldadmin.lucilla.core.Id

data class Book (
  @Id
  val id : Int ,
  val title : String ,
  val summary : String ,
)

Se você não deseja que Lucilla indexe alguns campos do seu documento, anote -os com @Ignore .

 import com.haroldadmin.lucilla.core.Id
import com.haroldadmin.lucilla.core.Ignore

data class Book (
    @Id
    val id : Int ,
    val title : String ,
    val summary : String , 
    @Ignore
    val publisher : String ,
)

Crie o índice

Crie um índice FTS e adicione seus dados a ele:

 val index = useFts< Book >()
getBooks().forEach { index.add(it) }

// You can also pass your seed data directly
val books = getBooks()
val index = useFts< Book >(books)

Adicionar documentos ao índice ou criar o índice com dados de sementes é um processo potencialmente caro, dependendo do tamanho de cada documento. É melhor executar esse processo em um thread de segundo plano ou coroutina.

Pesquise o índice

Envie suas consultas para o índice para obter os resultados da pesquisa solicitados por relevância.

 val searchResults = index.search(query)
val books = searchResults.map { r -> r.documentId }.map { id -> getBook(id) }
showResults(books)

Lucilla executa todas as consultas de pesquisa através de um pipeline de processamento de texto para extrair tokens pesquisáveis. Os tokens podem não refletir exatamente a consulta de pesquisa. Para descobrir qual token de sua consulta de pesquisa corresponde a um determinado resultado de pesquisa, use a propriedade "Matchterm" em um resultado de pesquisa.

Instalação

Adicione o repositório Jitpack à sua lista de repositórios:

 // Project level build.gradle file
allprojects {
    repositories {
        maven { url ' https://jitpack.io ' }
    }
}

E depois adicione a dependência no seu arquivo gradle:

 // Module build.gradle file
dependencies {
    implementation " com.github.haroldadmin.lucilla:core:(latest-version) "
}

Contribuindo

Lucilla está em desenvolvimento ativo e não promete estabilidade da API. Espere que a biblioteca sofra mudanças significativas antes de atingir o status estável.

Incentivamos a comunidade a contribuir com recursos e relatar bugs.

Meta

O nome 'Lucilla' é inspirado com o nome de 2020 Ferrari de Sebastian Vettel. Também parece semelhante ao Lucene (da Apache Lucene), que é a estrutura de pesquisa de texto completa padrão da indústria.

A implementação de Lucilla toma emprestado uma Minissearch da Biblioteca JavaScript.

Licença

 MIT License

Copyright (c) 2022 Kshitij Chauhan

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.