embedding_studio

Sitio web • Documentación • Desafíos y soluciones • Casos de uso

Ingredding Studio es un marco innovador de código abierto diseñado para convertir perfectamente un modelo de incrustación combinado y una base de datos vectorial en un motor de búsqueda integral. Con funcionalidades incorporadas para la colección Clickstream, la mejora continua de las experiencias de búsqueda y la adaptación automática del modelo de incrustación, ofrece una solución lista para usar para un motor de búsqueda de ciclo completo.

Apoyo comunitario

Incrustar el estudio crece con el entusiasmo de nuestro equipo. Su estrella en el repositorio nos ayuda a seguir desarrollando. Únase a nosotros para alcanzar nuestro objetivo:

Características

1. Convierta su base de datos vectorial en un motor de búsqueda de ciclo completo
2. ? ️ Recopilar comentarios de los usuarios como Clickstream
3. (*) Mejorar la experiencia de búsqueda en la marcha sin tiempos de espera frustrantes
4. (*) Monitoree su calidad de búsqueda
5. Mejore su modelo de incrustación a través de un procedimiento de ajuste fino de la métrica iterativa
6. ? (*) Use la nueva versión del modelo de incrustación para la inferencia
7. (*) Pasivamente ajusta su incrustación en sus datos de catálogo.
8. ? (*) Use y mejore el analizador de consultas de disparo cero para mezclar su base de datos estructurada con búsqueda no estructurada.

(*) - Características en el desarrollo

Incrustar el estudio es altamente personalizable, por lo que puede traer el suyo:

1. Fuente de datos
2. Base de datos vectorial
3. Base de datos de clickstream
4. Modelo de incrustación

¿Cuándo es el estudio de incrustación el mejor ajuste?

Más sobre eso aquí.

• Empresas con extensos catálogos y ricos datos no estructurados.
• ? ️? Plataformas centradas en el cliente que priorizan experiencias personalizadas.
• Plataformas de contenido dinámico con contenido en evolución y preferencias de usuario.
• ? Plataformas que manejan consultas de búsqueda matizadas y multifacéticas.
• Integración de tipos de datos mixtos en procesos de búsqueda.
• Plataformas que buscan optimización continua a través de las interacciones del usuario.
• ? Organizaciones conscientes del presupuesto que buscan soluciones poderosas pero asequibles.

Los desafíos se pueden resolver

Descargo de responsabilidad: Incrustar Studio no es otra base de datos vectorial, es un marco que le permite transformar su base de datos vectorial en un motor de búsqueda con todos los matices.

• Nada más que un catálogo, pero quieres una demostración rápida
• Calidad de búsqueda estática, pero desea que mejore con el tiempo
• La mejora de la experiencia del usuario lleva demasiado tiempo y sus usuarios se sienten frustrados
• Actualización de índice lento y agotado de recursos
• Mezcla de búsqueda estructurada y no estructurada, y no sabe cómo combinarlos
• Búsqueda estructurada con consultas no estructuradas, y desea analizarlas correctamente
• Los artículos frescos se están perdiendo

Más sobre desafíos y soluciones aquí

Descripción general

Nuestro marco le permite ajustar continuamente su modelo en función de la experiencia del usuario, lo que le permite formar resultados de búsqueda para consultas de usuario más rápido y con mayor precisión.

$ color {rojo} { textsf {rojo:}} $ En el gráfico, las soluciones de búsqueda típicas sin mejoras, como la búsqueda de texto completo (FTS), la búsqueda del vecino más cercano (NNS) y otras, están marcadas en rojo. Sin el uso de herramientas adicionales, la calidad de búsqueda permanece sin cambios con el tiempo.

$ color {naranja} { textsf {naranja:}} $ Se representan soluciones que acumulan algunos comentarios (clics, revisiones, votos, discusiones, etc.) y luego inician un reentrenamiento de modelos completos. El problema principal con estas soluciones es que la reentrenamiento de modelos completos es un procedimiento costoso y que requiere mucho tiempo y, por lo tanto, carece de ajustes reactivos (por ejemplo, cuando un producto de repente experimenta una mayor demanda, y el sistema de búsqueda aún no se ha adaptado a él).

$ color {#6666ff} { textsf {indigo:}} $ Proponemos una solución que permite recopilar comentarios de los usuarios y reentrenarse rápidamente el modelo sobre la diferencia entre las versiones antiguas y nuevas. Esto permite una curva de calidad de búsqueda más suave y relevante para su sistema.

Documentación

Ver nuestra documentación oficial.

Empezando

¡Hola, mundo no estructurado!

Para probar incrustaciones de estudio, puede lanzar el proyecto de demostración preconfigurado. Hemos preparado un conjunto de datos almacenado en un cubo público S3, un emulador para los clics del usuario y un script básico para ajustar el modelo. Al adaptarlo a sus requisitos, puede iniciar el ajuste de su modelo.

Asegúrese de que el comando docker compose version funcione en su sistema:

Docker Compose version v2.23.3

También puede probar el comando de versión Docker-Compose. Avanzando, utilizaremos el comando más nuevo de la versión Docker Compose, pero el comando de versión Docker-Compose también puede funcionar con éxito en su sistema.

En primer lugar, mencione todos los servicios de estudio de incrustación ejecutando el siguiente comando:

docker compose up -d

Una vez que todos los servicios estén activos, puede comenzar a usar Incrushding Studio. Simulemos una sesión de búsqueda de usuarios. Ejecutaremos un script preconstruido que invocará la API de estudio de incrustación y emulará el comportamiento del usuario:

docker compose --profile demo_stage_clickstream up -d

Después de la ejecución del script, puede iniciar el modelo ajustado. Ejecutar el siguiente comando:

docker compose --profile demo_stage_finetuning up -d

Esto pondrá en cola una tarea procesada por el trabajador ajustado. Para obtener todas las tareas en la cola de ajuste, envíe una solicitud GET al punto final /api/v1/fine-tuning/task :

curl -X GET http://localhost:5000/api/v1/fine-tuning/task

La respuesta será algo como:

[
  {
    "fine_tuning_method" : " Default Fine Tuning Method " ,
    "status" : " processing " ,
    "created_at" : " 2023-12-21T14:30:25.823000 " ,
    "updated_at" : " 2023-12-21T14:32:16.673000 " ,
    "batch_id" : " 65844a671089823652b83d43 " ,
    "id" : " 65844c019fa7cf0957d04758 "
  }
]

Una vez que tenga el ID de tarea, puede monitorear directamente el progreso de ajuste fino enviando una solicitud GET al punto final /api/v1/fine-tuning/task/{task_id} :

curl -X GET http://localhost:5000/api/v1/fine-tuning/task/65844c019fa7cf0957d04758

El resultado será similar a lo que recibió al consultar todas las tareas. Para una forma más conveniente de rastrear el progreso, puede usar mlflow en http: // localhost: 5001.

También es beneficioso verificar los registros del fine_tuning_worker para asegurarse de que todo funcione correctamente. Para hacer esto, enumere todos los servicios utilizando el comando:

docker logs embedding_studio-fine_tuning_worker-1

Si todo se completa con éxito, verá registros similares a:

Epoch 2: 100% | ██████████ | 13/13 [01: 17< 00:00,  0.17it/s, v_num = 8]
[2023-12-21 14:59:05,931] [PID 7] [Thread-6] [pytorch_lightning.utilities.rank_zero] [INFO] ` Trainer.fit ` stopped: ` max_epochs=3 ` reached.
Epoch 2: 100% | ██████████ | 13/13 [01: 17< 00:00,  0.17it/s, v_num = 8]
[2023-12-21 14:59:05,975] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.finetune_embedding_one_param] [INFO] Save model (best only, current quality: 8.426392069685529e-05)
[2023-12-21 14:59:05,975] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Save model for 2 / 9a9509bf1ed7407fb61f8d623035278e
[2023-12-21 14:59:06,009] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [WARNING] No finished experiments found with model uploaded, except initial
[2023-12-21 14:59:16,432] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Upload is finished
[2023-12-21 14:59:16,433] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.finetune_embedding_one_param] [INFO] Saving is finished
[2023-12-21 14:59:16,433] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Finish current run 2 / 9a9509bf1ed7407fb61f8d623035278e
[2023-12-21 14:59:16,445] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Current run is finished
[2023-12-21 14:59:16,656] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Finish current iteration 2
[2023-12-21 14:59:16,673] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Current iteration is finished
[2023-12-21 14:59:16,673] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.worker] [INFO] Fine tuning of the embedding model was completed successfully !

¡Felicidades! ¡Has mejorado con éxito el modelo!

Para descargar el mejor modelo, puede usar la API de estudio de incrustación:

curl -X GET http://localhost:5000/api/v1/fine-tuning/task/65844c019fa7cf0957d04758

Si todo está bien, verá la siguiente salida:

{
  "fine_tuning_method" : " Default Fine Tuning Method " , 
  "status" : " done " , 
  "best_model_url" : " http://localhost:5001/get-artifact?path=model%2Fdata%2Fmodel.pth&run_uuid=571304f0c330448aa8cbce831944cfdd " , 
  ...
}

Y el campo best_model_url contiene http accesible model.pth archivo.

Puede descargar *.pth archivo ejecutando el siguiente comando:

wget http://localhost:5001/get-artifact ? path=model%2Fdata%2Fmodel.pth & run_uuid=571304f0c330448aa8cbce831944cfdd

Que contribuye

¡Damos la bienvenida a las contribuciones a la incrustación de Studio!

Licencia

Incrustando Studio tiene licencia bajo la licencia Apache, versión 2.0. Vea la licencia para el texto completo de la licencia.