Lens

? Linse

Suchmaschine für das verteilte Web

Lens ist ein Opt-In-Tool für Suchmaschinen und Datenerfassung, um die Inhaltsermittlung des verteilten Webs zu unterstützen. Es enthüllt eine einfache, minimale API für die intelligente Indexierung und Abfrage von Inhalten auf IPFs.

Multisprachiger

Funktionen und Nutzung

In der Zeit in integriert in zeitlich integriertes Lens können Benutzer optional die Daten durchsucht und indiziert und mit RTC für die Teilnahme am Datenerfassungsprozess vergeben werden. Benutzer können dann mit einer einfach zu verwendenden API nach Inhalten suchen.

Die Suche durch Linsen wird durch das temporale Web erleichtert. Optional haben wir einen von Temporal unabhängigen Dienst, den Benutzer Inhalte einreichen können, um ihn zu indizieren. Dies wird jedoch nicht mit RTC ausgeglichen. Um das RTC zu erhalten, müssen Sie über die Lens -Indexierung innerhalb der temporalen Webschnittstelle teilnehmen.

API

Das Objektiv enthält eine einfache API über GRPC. Die Definitionen sind in RTradeLtd/grpc .

Die zusammengefasste Linsen -API besteht derzeit aus drei Kern -RPCs:

 service LensV2 {
  rpc Index ( IndexReq )   returns ( IndexResp )  {}
  rpc Search ( SearchReq ) returns ( SearchResp ) {}
  rpc Remove ( RemoveReq ) returns ( RemoveResp ) {}
}

Golang -Bindungen für die Linsen -API finden Sie in RTradeLtd/grpc .

Unterstützte Formate

Es werden nur IPFS -CIDs unterstützt und müssen entweder Bilder, Textdateien oder PDFs sein. Wir versuchen, den Inhaltstyp über MIME -Sniffing zu bestimmen und zu bestimmen, ob wir den Inhalt analysieren können oder nicht.

In der folgenden Tabelle finden Sie unterstützte Inhaltstypen, die wir indexieren können. Beachten Sie, wenn der Typ als <type>/* aufgeführt ist, bedeutet dies, dass ein "Sub -Typ" dieses MIME -Typs unterstützt wird.

MIME -Typ	Unterstützungsstufe	Getestete Typen
text/*	Beta	text/plain , text/html
image/*	Beta	image/jpeg
application/pdf	Beta	application/pdf

Einsatz

Die empfohlene Möglichkeit, eine Linseninstanz bereitzustellen, finden Sie über das Bild rtradetech/lens docker.

$ > docker pull rtradetech/lens:latest

Eine docker-compose -Konfiguration ist verfügbar, die auch andere Voraussetzungen einleitet:

$ > wget -O lens.yml https://raw.githubusercontent.com/RTradeLtd/Lens/master/lens.yml
$ > LENS=latest BASE=/my/dir docker-compose -f lens.yml up

Entwicklung

Dieses Projekt erfordert:

• GO 1.11+
• Dep
• Tesseract
• Tensorflow
• Go-Fitz

Um die Codebasis abzurufen, verwenden Sie go get :

$ > go get github.com/RTradeLtd/Lens

Für die Installation der erforderlichen Abhängigkeiten steht ein rudimentäres Makefile make dep zur Verfügung.