phinde

Phinde - moteur de recherche Web générique

Moteur de recherche auto-hébergé que vous pouvez utiliser pour votre blog statique ou sur tout autre site Web pour lequel vous souhaitez des fonctionnalités de recherche.

Mon instance en direct est sur http://search.cweiske.de/ et indexe mon site Web, mon blog et toutes les URL liées.

Caractéristiques

• Crawler et indexeur avec la capacité d'exécuter beaucoup en parallèle
• Affiche et met en évidence le texte qui contient des mots de recherche
• Booléen Recherche de recherche:
  • foo bar recherche foo AND bar
  • foo OR bar
  • title:foo recherche foo uniquement dans le titre de la page
• Facettes pour tag, domaine, langue et type
• Recherche de date:
  • before:2016-08-30 - Date de modification avant ce jour
  • after:2016-08-30 - Modifié après ce jour
  • date::2016-08-30 - Match exact du jour de la modification
• Recherche de site
  • Query: foo bar site:example.org/dir/
  • ou utilisez le site Get Paramètre: /?q=foo&site=example.org/dir
• Support Opeensearch avec les listes de résultats HTML et Atom
• Indexation instantanée avec WebSub (anciennement pubsubhubbub)

Dépendances

• Php 8.x
• Elasticsearch 2.0
• MySQL ou MARIADB pour les abonnements WebSub
• Gearman (Debian 9: gearman-job-server , pas gearman-server )
• Outil de ligne de commande gearadmin (ensemble gearman-tools )
• Extension PHP Gearman
• Certaines bibliothèques PHP qui sont installées avec le compositeur

Installation

1. Installer et exécuter Elasticsearch et Gearman

2. Installer php-gearman et gearman-tools

3. Obtenez une copie locale du code:

    $ git clone https://git.cweiske.de/phinde.git phinde
   

4. Installez les dépendances via le compositeur:

    $ Composer Install --No-Dev
   

5. Pointez la racine du document de votre serveur Web vers le répertoire www de Phinde

6. Copiez data/config.php.dist sur data/config.php et ajustez-les. Assurez-vous que vous ajoutez votre domaine à la liste blanche de la rampe.

7. Créez une base de données MySQL et importez le schéma à partir data/schema.sql

8. Run bin/setup.php qui met en place le schéma Elasticsearch

9. Mettez votre page d'accueil dans la file d'attente:

    $ ./bin/process.php http://example.org/
   

10. Commencez au moins un travailleur pour traiter la file d'attente Crawl + Index:

     $ ./bin/phinde-worker.php
    

11. Vérifiez la page d'état de Phinde dans votre navigateur. Le nombre de tâches ouvertes doit être> 0, le nombre de travailleurs également.

Re-index lorsque votre site change

Lorsque votre site a changé, le moteur de recherche doit rafraîchir et réindexer les pages.

Dites simplement à Phinde que quelque chose a changé en fonctionnant:

 $ ./bin/process.php http://example.org/foo.htm

Phinde prend en charge les pages HTML et les flux d'atomes, donc si votre blog a un flux, il suffit de laisser Phinde Reindex celui-là. Il trouvera automatiquement toutes les pages liées.

Intégration du site Web

Ajouter un formulaire de recherche simple à votre site Web est facile. Il a besoin de deux choses:

• <form> Tag avec une action qui pointe vers l'instance Phinde
• Champ de texte de recherche avec nom de q .

Exemple:

 <form méthode = "get" action = "http://phinde.example.org">
  <input type = "text" name = "q" placeholder = "search text" />
  <Button Type = "Soumider"> Recherche </fontificat>
</ form>

Service système

Lorsque vous utilisez SystemD, vous pouvez le laisser exécuter plusieurs instances de travailleur lorsque le système se fait en marche:

1. Copier les fichiers data/systemd/phinde*.service dans /etc/systemd/system/

2. Ajustez les noms des utilisateurs et des groupes et les répertoires de travail

3. Activer trois processus de travailleurs:

    $ Systemctl Daemon-Reload
   $ systemctl activer phinde @ 1
   $ systemctl activer phinde @ 2
   $ systemctl activer phinde @ 3
   $ systemctl activer phinde
   $ systemctl start phinde
   

4. Maintenant, trois travailleurs courent. Le redémarrage du service phinde redémarre également les travailleurs.

Travail de cron

Exécutez bin/renew-subscriptions.php une fois par jour avec Cron. Il renouvellera les abonnements WebSub.

Howto

Supprimer les données d'index d'un domaine:

 $ curl -iv -xdelete -h 'contenu-type: application / json' -d '{"query": {"term": {"domain": "example.org"}}}' http://127.0.0.1:9200/phinde/_query

C'est delete-by-Query 2.0, voir https://www.elastic.co/guide/en/elasticsearch/plugins/2.0/delete-by-query-usage.html

Abonnez-vous à un site Web / flux

Phinde prend en charge WebSub pour vous abonner aux modifications d'un site Web. Lorsque Phinde est informé par le centre du site Web sur les modifications, il rampera immédiatement et indexera les pages modifiées.

Abonnez-vous au flux d'un site Web:

 $ php bin / abonnement.php http://example.org/feed.atom

Phinde déterminera le Hub du site Web et y enverra une demande d'enregistrement.

La page d'état affichera le nombre de fonctions et le nombre d'abonnements ouverts.

Le désabonnement se produit également sur la ligne de commande:

 $ php bin / dissubscribe.php http://example.org/feed.atom

À propos de Phinde

Code source

Le code source de Phinde est disponible sur http://git.cweiske.de/phinde.git ou le miroir sur github.

Licence

Phinde est autorisé sous l'AGPL V3 ou version ultérieure.

Auteur

Phinde a été écrit par Christian Weiske.