playlist2vec

ACERCA DE

Este repositorio contiene código para LIST2VEC.com, un sitio web creado para demostrar el modelo de búsqueda vectorial descrito en nuestro documento, "Representación, exploración y recomendación de listas de reproducción".

CARACTERÍSTICAS

• Interfaz de búsqueda intuitiva e integración de Spotify
• Arquitectura de microservicios para una escalabilidad perfecta.
• Contenedores de Docker para una implementación simplificada.
• Utilización de bibliotecas de bajo costo (SQLite y USearch Vector Search) para minimizar la huella de la aplicación.
• Búsqueda vectorial basada en MMAP que permite que la aplicación funcione de manera eficiente en máquinas económicas como Raspberry Pi.
• Configuración de Nginx para un manejo robusto de tráfico.
• Limitación de tasas implementada para salvaguardar contra ataques DDoS.
• Nginx en caché para optimizar el uso de recursos del servidor.
• Capacidades de escala automática con Kubernetes.

INSTALACIÓN

Nota: Esta configuración se ha probado en Ubuntu 22.04 para arquitecturas X86_64 y Aarch64.

1. Instale Docker

1. Siga las instrucciones para instalar Docker desde este enlace: Instale Docker en Ubuntu.
2. Asegúrese de completar los pasos posteriores a la instalación descritos aquí.

2. Instale Nginx

Instale Nginx siguiendo la guía disponible en: Cómo instalar Nginx en Ubuntu 22.04.

3. Instale NodeJS

Puede instalar Node.js (V20.18.0) refiriéndose a este tutorial: Cómo instalar Node.js en Ubuntu 22.04.

4. Descargar código

Ejecute el siguiente comando para clonar el repositorio:

 git clone https://github.com/piyp791/playlist2vec.git

5. Navegue al proyecto

Navegue al directorio del proyecto ejecutando:

 cd playlist2vec

6. Configuración de Nginx

1. Copie el archivo nginx/nginx.conf a /etc/nginx/ .

2. Copie el archivo nginx/site_config a /etc/nginx/sites-available/<YOURSITENAME> .

3. Cree un enlace simbólico desde sites-available a sites-enabled con el siguiente comando:

    sudo ln -s /etc/nginx/sites-available/<YOURSITENAME> /etc/nginx/sites-enabled/
   

4. Elimine el archivo de configuración predeterminado ejecutando:

    sudo rm /etc/nginx/sites-enabled/default
   

5. Cree un directorio de caché para Nginx:

    sudo mkdir /var/cache/nginx
   

6. Verificar que la configuración sea correcta ejecutando:

    sudo nginx -t
   

7. Reinicie Nginx con el comando:

    sudo systemctl restart nginx
   

7. Instale la aplicación

Desde dentro del directorio del proyecto, ejecute el script de compilación:

 ./build.sh.

Esto creará una versión HTTP del sitio web, que puede integrarse con un servicio como un túnel CloudFlare para un HTTPS frontend.

Nota

De manera predeterminada, el script de compilación configura la aplicación para usar la versión mini del corpus, que contiene 377,000 elementos. En esta configuración, el índice de búsqueda para el mini corpus se carga en la memoria. Por el contrario, se accede al Corpus completo construido con Corpus completo en modo mapeado de memoria.

Para cambiar esta configuración, puede modificar el archivo .env . Establezca la variable IS_MINI en false para usar la versión completa del corpus:

 IS_MINI=false

Ejecutar en modo de desarrollo (sin NGINX)

Configuración del servicio de búsqueda:

 cd search-service
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
uvicorn src.server:app --port 3001

Configuración del servicio de autocompletar:

 cd autocomplete-service
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
uvicorn src.server:app --port 3002

Configuración del servidor web:

 cd web-server
npm install
npm run start-dev-mode

Ejecutar pruebas

 cd web-server
npm run test-dev

CITACIÓN

 Papreja, P., Venkateswara, H., Panchanathan, S. (2020). Representation, Exploration and Recommendation of Playlists. In: Cellier, P., Driessens, K. (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2019. Communications in Computer and Information Science, vol 1168. Springer, Cham. https://doi.org/10.1007/978-3-030-43887-6_50