無縫的RSS搜索引擎體驗,帶有機器學習的提示。
可以在https://davidesantangelo.gumroad.com/l/nkyymb下載數據庫的SQL轉儲,其中一年多的300萬個條目可下載超過300萬個條目。
dato.rss處於Beta,可能會在不久的將來看到許多變化。
如果您有評論或建議,請使用“問題”選項卡發送給我們。
感謝您嘗試Beta!
搜索引擎:快速搜索數百萬可用的RSS供稿。
RESTFUL API:將Feed數據變成很棒的API。 API簡化了您處理RSS,原子或JSON饋送的方式。您可以使用簡單,快速,清潔的REST API添加並跟踪自己喜歡的飼料數據。所有條目都通過機器學習和語義引擎豐富。
curl ' https://<yourhost>/api/searches?q=news ' | json_pp
{
" data " : [
{
" id " : " 86b0f829-e300-4eef-82e1-82f34d03aff6 " ,
" type " : " entry " ,
" attributes " : {
" title " : " " Pandemic, Infodemic " : 2 Cartoon Characters Battling Fake News In Assam " ,
" url " : " https://www.ndtv.com/india-news/coronavirus-pandemic-infodemic-2-cartoon-characters-battling-fake-news-in-assam-2222333 " ,
" published_at " : 1588448805,
" body " : " An English daily in Assam's Guwahati has been publishing a cartoon strip to tackle the fake news related to the coronavirus pandemic. The two central characters- " Pandemic and Infodemic " - are being...<img src= " http://feeds.feedburner.com/~r/NDTV-LatestNews/~4/lEmH201Q8jI " height= " 1 " width= " 1 " alt= "" /> " ,
" text " : " An English daily in Assam's Guwahati has been publishing a cartoon strip to tackle the fake news related to the coronavirus pandemic. The two central characters- " Pandemic and Infodemic " - are being... " ,
" categories " : [
" all india "
],
" sentiment " : null,
" parent " : {
" id " : " c97bdae6-b5d1-4966-b9f3-615e29d4d47d " ,
" title " : " NDTV News - Special " ,
" url " : " feed:http://feeds.feedburner.com/NDTV-LatestNews " ,
" rank " : 99
},
" tags " : []
},
" relationships " : {
" feed " : {
" data " : {
" id " : " c97bdae6-b5d1-4966-b9f3-615e29d4d47d " ,
" type " : " feed "
}
}
}
},
]
}
搜索只是使用全文搜索Postgres功能實現的。
我使用了PG_Search GEM ,可以通過兩種方式使用:
多搜索:搜索多個模型並返回單個結果。想像一下有三個型號:產品,品牌和評論。使用多搜索我們可以同時搜索所有搜索,看到一組搜索結果。這非常適合將聯合搜索功能添加到您的應用程序中。
搜索範圍:在單個模型中搜索,但具有更大的靈活性。
execute << - SQL
ALTER TABLE entries
ADD COLUMN searchable tsvector GENERATED ALWAYS AS (
setweight(to_tsvector( ' simple ' , coalesce(title, ' ' )), ' A ' ) ||
setweight(to_tsvector( ' simple ' , coalesce(body, ' ' )), ' B ' ) ||
setweight(to_tsvector( ' simple ' , coalesce(url, ' ' )), ' C ' )
) STORED;
SQLFeed排名由OpenRank提供基於常見搜索Pagerank數據集的自由根域權限度量。該價值通過
( ( Math . log10 ( domain_rank ) / Math . log10 ( 100 ) ) * 100 ) . round 機器學習由蒲公英API語義文本分析作為服務,從文本到可行的數據。從非結構化的文本中提取含義,並將其放在上下文中。
您可以根據需要添加盡可能多的提要來處理自動爬網。
https:/// feeds/new
所有API文檔都在Wiki部分中。當然,請隨時使其變得更好。
https://github.com/davidesantangelo/dato.rss/wiki
要使用一些功能,例如添加新提要,您需要具有寫入許可的令牌。目前,我只能啟用它。如果聯繫我
加上很多紅寶石寶石,其中的完整列表為 /主 /gemfile。
如果您想支持我的服務器成本以保持dato.ess免費,請考慮贊助!謝謝!
Github贊助商
歡迎在https://github.com/davidesantangelo/dato.rss的GitHub上的錯誤報告和拉動請求。該項目旨在是一個安全,熱情的協作空間,預計貢獻者將遵守撰稿人契約的行為準則。
根據MIT許可證的條款,該寶石可作為開源。