playlist2vec

О

Этот репозиторий содержит код для Playlist2vec.com, веб -сайта, созданного для демонстрации модели векторного поиска, описанной в нашей статье, «Представление, исследование и рекомендация плейлистов».

ФУНКЦИИ

• Интуитивно понятный поисковый интерфейс и интеграция Spotify
• Архитектура микросервисов для бесшовной масштабируемости.
• Контейнеры Docker для оптимизированного развертывания.
• Использование недорогих библиотек (SQLite и Usearch Vector Sector) для минимизации следов приложений.
• Поиск вектора на основе MMAP, позволяющий приложению эффективно работать на бюджетных машинах, таких как Raspberry Pi.
• Конфигурация Nginx для надежной обработки трафика.
• Ограничение ставок, внедренное для защиты от атак DDOS.
• Кэширование Nginx для оптимизации использования ресурсов сервера.
• Возможности автоматического масштаба с использованием Kubernetes.

Установка

Примечание. Эта настройка была протестирована на Ubuntu 22.04 как для архитектур x86_64, так и для Aarch64.

1. Установите Docker

1. Следуйте инструкциям, чтобы установить Docker по этой ссылке: Установите Docker на Ubuntu.
2. Обязательно выполните шаги после установки, изложенные здесь.

2. Установите Nginx

Установите Nginx, следуя руководству, доступному по адресу: Как установить Nginx на Ubuntu 22.04.

3. Установите Nodejs

Вы можете установить node.js (v20.18.0), ссылаясь на это руководство: Как установить node.js на Ubuntu 22.04.

4. Загрузить код

Запустите следующую команду, чтобы клонировать репозиторий:

 git clone https://github.com/piyp791/playlist2vec.git

5. Перейдите к проекту

Перейдите к каталогу проекта, работая:

 cd playlist2vec

6. Настройка Nginx

1. Скопируйте файл nginx/nginx.conf в /etc/nginx/ .

2. Скопируйте файл nginx/site_config в /etc/nginx/sites-available/<YOURSITENAME> .

3. Создайте символическую ссылку с sites-available для sites-enabled следующей команды:

    sudo ln -s /etc/nginx/sites-available/<YOURSITENAME> /etc/nginx/sites-enabled/
   

4. Удалить файл конфигурации по умолчанию, выполнив:

    sudo rm /etc/nginx/sites-enabled/default
   

5. Создайте каталог кэша для Nginx:

    sudo mkdir /var/cache/nginx
   

6. Убедитесь, что конфигурация верна, работая:

    sudo nginx -t
   

7. Перезапустите Nginx с помощью команды:

    sudo systemctl restart nginx
   

7. Установите приложение

Из каталога проекта выполните скрипт сборки:

 ./build.sh.

Это создаст HTTP -версию веб -сайта, которая может быть интегрирована с такой сервисом, как туннель CloudFlare для фронта HTTPS.

Примечание

По умолчанию сценарий сборки настраивает приложение для использования мини -версии корпуса, которая содержит 377 000 пунктов. В этой конфигурации индекс поиска для мини -корпуса загружается в память. В отличие от этого, индекс поиска, созданный с полным корпусом, доступен в режиме отображения памяти.

Чтобы изменить этот параметр, вы можете изменить файл .env . Установите переменную IS_MINI на false , чтобы использовать полную версию корпуса:

 IS_MINI=false

Запустить в режиме разработки (без nginx)

Настройка службы поиска:

 cd search-service
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
uvicorn src.server:app --port 3001

Настройка службы автозаполнения:

 cd autocomplete-service
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
uvicorn src.server:app --port 3002

Настройка веб-сервера:

 cd web-server
npm install
npm run start-dev-mode

Запустить тесты

 cd web-server
npm run test-dev

Цитирование

 Papreja, P., Venkateswara, H., Panchanathan, S. (2020). Representation, Exploration and Recommendation of Playlists. In: Cellier, P., Driessens, K. (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2019. Communications in Computer and Information Science, vol 1168. Springer, Cham. https://doi.org/10.1007/978-3-030-43887-6_50