Lens

? Lentille

Moteur de recherche pour le Web distribué

Lens est un outil de collecte de moteur de recherche et de données opt-in pour aider à la découverte de contenu du Web distribué. Il expose une API simple et minimale pour indexer et interroger intelligemment le contenu sur IPFS.

Multi-langus

Caractéristiques et utilisation

Initialement intégrés à Temporal, l'objectif permettra aux utilisateurs de faire en sorte que les données qu'ils téléchargent soient recherchées et indexées et se récompenser avec RTC pour avoir participé au processus de collecte de données. Les utilisateurs peuvent ensuite rechercher du contenu à l'aide d'une API simple à utiliser.

La recherche via l'objectif sera facilitée via le Web temporel. Facultativement, nous aurons un service indépendant de Temporal que les utilisateurs peuvent soumettre du contenu pour qu'il soit indexé. Cependant, cela n'est pas compensé par RTC. Afin de recevoir le RTC, vous devez participer via l'indexation des lentilles dans l'interface Web temporelle.

API

Lens expose une API simple via GRPC. Les définitions sont dans RTradeLtd/grpc .

L'API de la lentille, résumé, se compose actuellement de trois RPC de base:

 service LensV2 {
  rpc Index ( IndexReq )   returns ( IndexResp )  {}
  rpc Search ( SearchReq ) returns ( SearchResp ) {}
  rpc Remove ( RemoveReq ) returns ( RemoveResp ) {}
}

Les liaisons de Golang pour l'API de l'objectif peuvent être trouvées dans RTradeLtd/grpc .

Formats pris en charge

Seuls les CID IPF sont pris en charge et doivent être soit des images, des fichiers texte ou des PDF. Nous essayons de déterminer le type de contenu via le reniflement de type mime et l'utiliser pour déterminer si nous pouvons analyser le contenu.

Veuillez consulter le tableau suivant pour les types de contenu pris en charge que nous pouvons indexer. Remarque Si le type est répertorié comme <type>/* Cela signifie que tout "sous-type" de ce type MIME est pris en charge.

Type mime	Niveau de soutien	Types testés
text/*	Bêta	text/plain , text/html
image/*	Bêta	image/jpeg
application/pdf	Bêta	application/pdf

Déploiement

La façon recommandée de déployer une instance d'objectif est via l'image Docker rtradetech/lens .

$ > docker pull rtradetech/lens:latest

Une configuration docker-compose est disponible qui démarre également d'autres conditions préalables:

$ > wget -O lens.yml https://raw.githubusercontent.com/RTradeLtd/Lens/master/lens.yml
$ > LENS=latest BASE=/my/dir docker-compose -f lens.yml up

Développement

Ce projet nécessite:

• Aller 1.11+
• dep
• Tisseract
• Tensorflow
• go-fitz

Pour récupérer la base de code, utilisez go get :

$ > go get github.com/RTradeLtd/Lens

Un Target de MakeFile Rudimentary make dep est disponible pour l'installation des dépendances requises.