dato.rss DOWNLOAD - dato.rss Quellcode herunterladen

dato.rss

Anderer Quellcode

0.1 (woody)

Herunterladen

Dato.rss

Ein nahtloses RSS -Suchmaschinenerlebnis mit einem Hinweis auf maschinelles Lernen.

SAMEN

Ein SQL -Dump der Datenbank mit über 3 Millionen Einträgen, die in über einem Jahr extrahiert wurden

BETA

Dato.RSS ist in der Beta und wird wahrscheinlich in naher Zukunft viele Änderungen feststellen.

Wenn Sie Kommentare oder Vorschläge haben, senden Sie sie bitte mit der Registerkarte "Probleme" an uns.

Danke, dass du die Beta ausprobiert hast!

Suchmaschine: Suchen Sie schnell die Millionen verfügbarer RSS -Feeds.

RESTFOR API: Feed -Daten in eine großartige API verwandelt. Die API vereinfacht, wie Sie mit RSS-, Atom- oder JSON -Feeds umgehen. Sie können Ihre bevorzugten Feed -Daten mit einer einfachen, schnellen und sauberen Ruhe -API hinzufügen und verfolgen. Alle Einträge werden durch maschinelles Lernen und semantische Motoren angereichert.

Beispiel

curl ' https://<yourhost>/api/searches?q=news ' | json_pp

{
  " data " : [
    {
      " id " : " 86b0f829-e300-4eef-82e1-82f34d03aff6 " ,
      " type " : " entry " ,
      " attributes " : {
        " title " : " " Pandemic, Infodemic " : 2 Cartoon Characters Battling Fake News In Assam " ,
        " url " : " https://www.ndtv.com/india-news/coronavirus-pandemic-infodemic-2-cartoon-characters-battling-fake-news-in-assam-2222333 " ,
        " published_at " : 1588448805,
        " body " : " An English daily in Assam's Guwahati has been publishing a cartoon strip to tackle the fake news related to the coronavirus pandemic. The two central characters- " Pandemic and Infodemic " - are being...<img src= " http://feeds.feedburner.com/~r/NDTV-LatestNews/~4/lEmH201Q8jI " height= " 1 " width= " 1 " alt= "" /> " ,
        " text " : " An English daily in Assam's Guwahati has been publishing a cartoon strip to tackle the fake news related to the coronavirus pandemic. The two central characters- " Pandemic and Infodemic " - are being... " ,
        " categories " : [
          " all india "
        ],
        " sentiment " : null,
        " parent " : {
          " id " : " c97bdae6-b5d1-4966-b9f3-615e29d4d47d " ,
          " title " : " NDTV News  -  Special " ,
          " url " : " feed:http://feeds.feedburner.com/NDTV-LatestNews " ,
          " rank " : 99
        },
        " tags " : []
      },
      " relationships " : {
        " feed " : {
          " data " : {
            " id " : " c97bdae6-b5d1-4966-b9f3-615e29d4d47d " ,
            " type " : " feed "
          }
        }
      }
    },
  ]
}

Suchen

Die Suche wird gerade mit Volltexten -Such -Postgres -Funktion implementiert.

Ich habe das PG_SEARCH -Juwel verwendet, das auf zwei Arten verwendet werden kann:

Multi -Suche: Suchen Sie mehrere Modelle hinweg und geben Sie ein einzelnes Ergebnis von Ergebnissen zurück. Stellen Sie sich vor, Sie haben drei Modelle: Produkt, Marke und Überprüfung. Mit Multi -Search konnten wir alle gleichzeitig über alle suchen, um einen einzelnen Satz von Suchergebnissen zu sehen. Dies wäre perfekt, um Ihrer App die Funktionalität der Föderation zu fördern.

Suchumfang: Suche innerhalb eines einzelnen Modells, jedoch mit größerer Flexibilität.

    execute << - SQL
      ALTER TABLE entries
      ADD COLUMN searchable tsvector GENERATED ALWAYS AS (
        setweight(to_tsvector( ' simple ' , coalesce(title, ' ' )), ' A ' ) ||
        setweight(to_tsvector( ' simple ' , coalesce(body, ' ' )), ' B ' ) ||
        setweight(to_tsvector( ' simple ' , coalesce(url, ' ' )), ' C ' )
      ) STORED;
    SQL

Futterrang

Das Feed -Ranking erfolgt von OpenRank A Free Root Domain Authority Metrik basierend auf dem gemeinsamen Suchpage -Datensatz. Der Wert wird durch normilisiert durch

 ( ( Math . log10 ( domain_rank ) / Math . log10 ( 100 ) ) * 100 ) . round

Maschinelles Lernen

Das maschinelle Lernen wird von Dandelion API Semantic Text Analytics als Dienst bereitgestellt, von Text bis zu umsetzbaren Daten. Extrahieren Sie Bedeutung aus unstrukturiertem Text und setzen Sie ihn mit einer einfachen API in den Kontext.

Feed hinzufügen

Sie können so viele Feeds hinzufügen, wie Sie den automatischen Crawler verarbeiten möchten.

https: /// feeds/neu

Wiki

Alle API -Dokumentationen finden Sie im Wiki -Abschnitt. Fühlen Sie sich natürlich frei, es besser zu machen.

https://github.com/davidesantangelo/dato.rss/wiki

Um einige Funktionen wie das Hinzufügen eines neuen Feeds zu verwenden, benötigen Sie ein Token mit Schreibberechtigung . Derzeit kann ich es nur aktivieren. Falls kontaktieren Sie mich

Gebaut mit

Ruby on Rails - Unsere Back End -API ist eine Rails -App. Es reagiert auf Anfragen in JSON.
POSTGRESQL - Unser Hauptdatenspeicher befindet sich in Postgres.
Redis - Wir verwenden Redis als Cache und für transiente Daten.
Feedjira - Feedjira ist eine Ruby -Bibliothek, die Feeds analysieren soll.
Löwenzahn - Semantische Textanalyse als Service.
Sidekiq - Einfache, effiziente Hintergrundverarbeitung für Ruby.
JSON: API -Serialisierung - Ein schneller JSON: API -Serializer für Ruby -Objekte.
PGSEARCH - PGSEARCH baut mit dem Namen Scopes, die die vollständige Textsuche von PostgreSQL nutzen.
TailwindCSS-Ein Utility-First CSS-Framework zum rasanten Erstellen benutzerdefinierter Benutzeroberflächen.

Plus viele Ruby -Edelsteine, eine vollständige Liste von /Main /GemFile.

Sponsor mich

Wenn Sie mich bei Serverkosten unterstützen möchten, um Dato.ess kostenlos und aufzuhalten, sollten Sie sponsern! Danke!

Github -Sponsor

Beitragen

Fehlerberichte und Pull -Anfragen sind auf Github unter https://github.com/davidesantangelo/dato.rss willkommen. Dieses Projekt soll ein sicherer, einladender Raum für die Zusammenarbeit sein, und die Mitwirkenden sollen sich an den Verhaltenskodex für den Mitwirkenden halten.