Lens

? Lente

Mecanismo de busca pela web distribuída

A lente é um mecanismo de pesquisa e uma ferramenta de coleta de dados para ajudar na descoberta de conteúdo da web distribuída. Ele expõe uma API simples e mínima para indexação e consulta de conteúdo inteligente no IPFS.

Multi-linguagem

Recursos e uso

Inicialmente integrados ao temporal, as lentes permitirão que os usuários opcionalmente tenham os dados que eles carregam sejam pesquisados ​​e indexados e concedidos com o RTC por participar do processo de coleta de dados. Os usuários podem pesquisar conteúdo usando uma API simples de usar.

A pesquisa através da lente será facilitada através da Web temporal. Opcionalmente, teremos um serviço independente do temporal que os usuários podem enviar o conteúdo para que ele seja indexado. No entanto, isso não é compensado com o RTC. Para receber o RTC, você deve participar da indexação de lentes na interface da Web temporal.

API

A lente expõe uma API simples via GRPC. As definições estão em RTradeLtd/grpc .

A API da lente, resumida, atualmente consiste em três RPCs principais:

 service LensV2 {
  rpc Index ( IndexReq )   returns ( IndexResp )  {}
  rpc Search ( SearchReq ) returns ( SearchResp ) {}
  rpc Remove ( RemoveReq ) returns ( RemoveResp ) {}
}

As ligações de Golang para a API da lente podem ser encontradas em RTradeLtd/grpc .

Formatos suportados

Somente os CIDs do IPFS são suportados e devem ser imagens, arquivos de texto ou PDFs. Tentamos determinar o tipo de conteúdo por meio do sniffing do tipo MIME e usamos isso para determinar se podemos ou não analisar o conteúdo.

Consulte a tabela a seguir para obter tipos de conteúdo suportados que podemos indexar. NOTA Se o tipo estiver listado como <type>/* significa que qualquer "sub -tipo" desse tipo MIME é suportado.

MIME TIPO	Nível de suporte	Tipos testados
text/*	Beta	text/plain , text/html
image/*	Beta	image/jpeg
application/pdf	Beta	application/pdf

Implantação

A maneira recomendada de implantar uma instância da lente é através da imagem rtradetech/lens DOCKER.

$ > docker pull rtradetech/lens:latest

Está disponível uma configuração docker-compose , que também inicia outros pré-requisitos:

$ > wget -O lens.yml https://raw.githubusercontent.com/RTradeLtd/Lens/master/lens.yml
$ > LENS=latest BASE=/my/dir docker-compose -f lens.yml up

Desenvolvimento

Este projeto requer:

• Vá 1.11+
• Dep
• Tesseract
• Tensorflow
• Go-Fitz

Para buscar a base de código, use go get :

$ > go get github.com/RTradeLtd/Lens

Um alvo makefile rudimentar make dep está disponível para instalar as dependências necessárias.