dato.rss

Dato.rss

Una experiencia de motor de búsqueda RSS perfecta con un toque de aprendizaje automático.

SEMILLA

Se puede descargar un volcado SQL de la base de datos con más de 3 millones de entradas extraídas en más de un año en https://davidesantangelo.gumroad.com/l/nkyymb

BETA

Dato.rss está en beta y probablemente verá muchos cambios en el futuro cercano.

Si tiene comentarios o sugerencias, envíenoslos usando la pestaña Problemas.

¡Gracias por probar la beta!

Motor de búsqueda: busque rápidamente los millones de alimentos RSS disponibles.

API RESTFOR: Convierte los datos de alimentación en una API impresionante. La API simplifica cómo maneja los alimentos RSS, Atom o JSON. Puede agregar y realizar un seguimiento de sus datos de alimentación favoritos con una API de descanso simple, rápida y limpia. Todas las entradas están enriquecidas por el aprendizaje automático y los motores semánticos.

Ejemplo

curl ' https://<yourhost>/api/searches?q=news ' | json_pp

{
  " data " : [
    {
      " id " : " 86b0f829-e300-4eef-82e1-82f34d03aff6 " ,
      " type " : " entry " ,
      " attributes " : {
        " title " : " " Pandemic, Infodemic " : 2 Cartoon Characters Battling Fake News In Assam " ,
        " url " : " https://www.ndtv.com/india-news/coronavirus-pandemic-infodemic-2-cartoon-characters-battling-fake-news-in-assam-2222333 " ,
        " published_at " : 1588448805,
        " body " : " An English daily in Assam's Guwahati has been publishing a cartoon strip to tackle the fake news related to the coronavirus pandemic. The two central characters- " Pandemic and Infodemic " - are being...<img src= " http://feeds.feedburner.com/~r/NDTV-LatestNews/~4/lEmH201Q8jI " height= " 1 " width= " 1 " alt= "" /> " ,
        " text " : " An English daily in Assam's Guwahati has been publishing a cartoon strip to tackle the fake news related to the coronavirus pandemic. The two central characters- " Pandemic and Infodemic " - are being... " ,
        " categories " : [
          " all india "
        ],
        " sentiment " : null,
        " parent " : {
          " id " : " c97bdae6-b5d1-4966-b9f3-615e29d4d47d " ,
          " title " : " NDTV News  -  Special " ,
          " url " : " feed:http://feeds.feedburner.com/NDTV-LatestNews " ,
          " rank " : 99
        },
        " tags " : []
      },
      " relationships " : {
        " feed " : {
          " data " : {
            " id " : " c97bdae6-b5d1-4966-b9f3-615e29d4d47d " ,
            " type " : " feed "
          }
        }
      }
    },
  ]
}

Buscar

La búsqueda se acaba de implementar con la función de búsqueda de texto completo Postgres.

Usé la gema PG_Search , que se puede usar de dos maneras:

Search múltiple: Búsqueda en múltiples modelos y devuelva una sola matriz de resultados. Imagine tener tres modelos: producto, marca y revisión. Usando múltiples búsqueda, podríamos buscarlos en todos al mismo tiempo, viendo un solo conjunto de resultados de búsqueda. Esto sería perfecto para agregar la funcionalidad de búsqueda federada a su aplicación.

Search Alcope: Busque dentro de un solo modelo, pero con mayor flexibilidad.

    execute << - SQL
      ALTER TABLE entries
      ADD COLUMN searchable tsvector GENERATED ALWAYS AS (
        setweight(to_tsvector( ' simple ' , coalesce(title, ' ' )), ' A ' ) ||
        setweight(to_tsvector( ' simple ' , coalesce(body, ' ' )), ' B ' ) ||
        setweight(to_tsvector( ' simple ' , coalesce(url, ' ' )), ' C ' )
      ) STORED;
    SQL

Rango de alimentación

La clasificación de alimentación es proporcionada por OpenRank, una métrica de autoridad de dominio raíz libre basada en el conjunto de datos de búsqueda de PageRank de búsqueda común. El valor se normilizado por

 ( ( Math . log10 ( domain_rank ) / Math . log10 ( 100 ) ) * 100 ) . round 

Aprendizaje automático

El aprendizaje automático es proporcionado por Dandelion API Semantic Text Analytics como un servicio, desde el texto hasta los datos procesables. Extraiga el significado del texto no estructurado y póngalo en contexto con una API simple.

Agregar feed

Puede agregar tantos alimentos como desee para que el rastreador automático lo maneje.

https: /// feeds/new

Wiki

Toda la documentación de API está en la sección Wiki. Siéntase libre de hacerlo mejor, por supuesto.

https://github.com/davidesantangelo/dato.rss/wiki

Para usar algunas características, como agregar un nuevo feed, necesita un token con permiso de escritura . Actualmente solo puedo habilitarlo. En caso de contáctame

Construido con

• Ruby on Rails: nuestra API de back -end es una aplicación Rails. Responde a las solicitudes de reposo en JSON.
• PostgreSQL - Nuestro principal almacén de datos está en Postgres.
• Redis: usamos Redis como caché y para datos transitorios.
• Feedjira - Feedjira es una biblioteca Ruby diseñada para analizar los alimentos.
• Dandelion - Análisis de texto semántico como servicio.
• Sidekiq: procesamiento de fondo simple y eficiente para Ruby.
• JSON: API Serialización - A Fast JSON: API Serializer for Ruby Objects.
• PGSEARCH: PGSearch construye ámbitos que aprovechan la búsqueda de texto completo de PostgreSQL.
• TailWindcss: un marco CSS de utilidad para construir rápidamente interfaces de usuario personalizadas.

Además, muchas gemas de rubí, una lista completa de las cuales es en /main /gemfile.

Patrocinador

Si desea apoyarme en los costos del servidor para mantener dato. ¡Gracias!

Patrocinador de Github

Que contribuye

Los informes de errores y las solicitudes de extracción son bienvenidos en GitHub en https://github.com/davidesantangelo/dato.rss. Este proyecto está destinado a ser un espacio seguro y acogedor para la colaboración, y se espera que los contribuyentes se adhieran al Código de Conducta del Pacto de contribuyente.

Licencia

La gema está disponible como código abierto bajo los términos de la licencia MIT.