Verdant_Search

зеленый поиск

В настоящее время, чтобы рассмотреть нагрузку на бэкэнд, бэкэнд поисковой системы был изменен на Flask
Тем не менее, его временная структура хранения CubeQl использует FASTAPI
Официальный веб -сайт: http://115.29.198.35 Электронная почта автора: [email protected]

Ключевая функция

• Поисковые системы будут автоматически искать результаты поиска в базе данных из других поисковых систем и автоматически обновлять их.
• Непосредственно связано с словарем Youdao, удобнее искать слова
• Нет никаких объявлений для поиска, а интерфейс проще
• Никакий поиск трассировки не будет генерировать большие данные для убийства зрелых
• Было достигнуто Desimilition страниц блогов, таких как CSDN, что повысило эффективность поиска (наступает)
• Система плагина скоро будет запущена
• Поддержать онлайн-отзывы в реальном времени о ошибках и предложениях
• Распределенная временная база данных CRAWLER + SEUPPLENTEDENTED (CubeQL)

Заводящий скриншот

Cubeql

Временная структура хранения для поиска румянца, реализация функций Redis, а также может отфильтровать URL-адреса Crawler через модуль фильтра Bloom и использовать его в качестве дедупликации

Оптимизация скорости ожидается с использованием vlang

0.1.1 этап обновления

1. Реализуйте динамическую сортировку веб -страниц для ключевых слов в базе данных
2. Измените бэкэнд на колбу, а другие все еще используют Fastapi

0,1.2 Обновление

Оптимизируйте проблему 404 по -прежнему включение в ползание CatthCode с помощью распределенных сканеров, что увеличивает результаты поиска и увеличение веса (перенаправление) (перенаправление)

0,1,3 Обновление

• Краткое изложение других поисковых систем
• Исправлены некоторые ошибки
• Реализуйте реализацию Bloomfilter Bloomfilter, позволяя напрямую отделить фильтрацию от MySQL.
• И внедрить таймер
• Селен используется для сканеров из других поисковых систем

0,1,4 Обновлено 2020/01/30

• Добавлены CRIPS API, чтобы облегчить пользователям отправлять комментарии
• Реализовал передачу PostgreSQL (из MySQL)
• Добавленный результат Crawler для Bing (не реализован)
• Решении предыдущей оптимизации механизма поискового ассоциативного слова, и теперь запрос будет отправлен до тех пор, пока введен новый символ.
• Исправлены известные ошибки для сканеров и cubeql

0,2 Обновлено 2020/02/27

• Была найдена ошибка для ключевых слов поиска для вторичного причастия слова
• Я обнаружил ошибку в типе данных PostgreSQL при ползании
• Был добавлен новый гусениц Bing для ключевых слов.
• Изменили некоторые логические проблемы CRAWLER и поиск основной программы

0.2.1 Обновлено 2021/08/05

• Добавлен блистерной тренд (/тренд)
• Изменили правила для очередей обработки хрупки в CubeQl
• Исправить известные ошибки

0,3.1 Обновлено 2021/09/29

• Система расширения выпускается
• Добавлен новый плагин: Huyaoiblog
• Ожидается, что большая часть обновления будет связана с плагинами в будущем

0.3.6 Обновлено 2021/12/15

• Многие структуры каталогов были оптимизированы
• Исправлено много ошибок
• И добавил функцию слова ежедневно
• Кажется, что производительность немного улучшилась

Пользовательский агент

Mozilla/5,0 (совместимый; Verdantspider/1.0)

Дел

1. Добавьте некоторую необходимую функцию динамического обновления веса поисковой системы (выполнено)

2. Реализовать нечеткий поиск китайского языка-> пинин (необходимо создать новую таблицу картирования)

3. Реализовать сплит -базу данных

4. Преобразовать в PostgreSQL (сделано)

5. Статистика детали каждого поиска для легкого резюме (сделано)

6. Добавить распределенные замки, реализованные CubeQl

7. Реализуйте поисковые слова для сохранения в облаке, и сервер не требует многочисленных полей

8. Реализуйте звук после нажатия значка тома

9. Реализовать vlang вместо большинства функций Python и оптимизировать производительность

10. Реализуйте ежедневные поиск горячих точек

11. Реализуйте интеллектуальную резюме различных поисковых систем

12. Используйте контейнеры для управления средой, чтобы реализовать развертывание одного щелчка и операцию на один щелчок

13. Жизненные циклы для каждого отдельного индекса поиска, и вес будет снижен через некоторое время (для поддержания необходимы новые программы) (сделано)

14. Реализуйте Simhash и реализуйте дедупликацию веб -сайтов блогов, таких как CSDN

15. Поддерживает диверсифицированный поиск и более удобные фильтры

Справочная версия PostgreSQL составляет 11.10

Среда

Python> = 3,6

колба

FASTAPI == 0,54,1

psycopg2

Starlette

requests_html

jieba

Демжсон

bloomfilter_live

Гевент

Проблемы, возникающие при миграции PostgreSQL

1. PostgreSQL поддерживает только отдельные кавычки, чтобы включить строки
2. Имя пользователя отличается от MySQL
3. PostgreSQL имеет шаблон, но вам не нужно обращать внимание на модификацию SQL, потому что он автоматически укажет на общедоступный режим.

---

Как использовать

Структура каталога

├ описано. VSCODE
├Docs
├--Sources
│ ├aconfig
│ ├acceql
│ └--Pycache__
│ ├aclib
│ ├--Spider
│ └--PyCache __ │ ├ íaTatic
│ │ ├acsss
│ │ ├acimg
│ └--Music
│ ├actemplates
│ └--Pycache __
└acsql

Документы: регулярно хранить документы

Ресурсы: каталог хранилища исходного кода

Конфигурация: альтернативный каталог для файла конфигурации JSON (действительно вызван в корневом каталоге, и оптимизация структуры каталога еще не была завершена

CubeQL: каталог, в котором хранится исходный код, связанный с CubeQL

Паук: каталог для хранения сканеров

LIB: Требования к магазину

Статический: хранить статические файлы

Шаблоны: хранить файлы шаблонов

SQL: хранить альтернативные файлы SQL Alternate Table

Backend.py - File Backend поисковой системы

config.json - файл конфигурации, только файл JSON в каталоге ROOT, где работает код, вступает в силу

Запуск шагов

Может быть, есть некоторые библиотеки, которые не упоминаются, но в любом случае, что есть

Изменить пароль учетной записи базы данных и ip of config.json

Убедитесь, что PostgreSQL открыт

Запустить в каталоге CubeQL

Uvicorn Cubeql: App -Port 1278

Работать в каталоге ресурсов

Python Backend.py

Запустите его в каталоге Spider (вы можете открыть зеленый поиск, если не запускаете его)

Python cds-distributed.py

Зеленые тенденции

Доступ к тренду, вы можете подсчитать частота поиска всех ключевых слов

Плагин-система

Написание системы подключения довольно просто.

Затем создайте новый index.html и package.json в папке расширений.

Package.json