embedding_studio
v0.0.1
Веб -сайт • Документация • Проблемы и решения • Примеры использования
Encedding Studio -это инновационная структура с открытым исходным кодом, предназначенную для беспрепятственной преобразования комбинированной модели встраивания и векторной базы данных в комплексную поисковую систему. Благодаря встроенным функциональным возможностям для сбора ClickStream, постоянного улучшения опыта поиска и автоматической адаптации модели встраивания, она предлагает нестандартное решение для поисковой системы полного цикла.
| Поддержка сообщества |
| Encedding Studio растет с энтузиазмом нашей команды. Ваша звезда в репозитории помогает нам продолжать развиваться. Присоединяйтесь к нам в достижении нашей цели: |
(*) - Особенности в разработке
Студия Encedding очень настраивается, поэтому вы можете принести свой собственный:
Подробнее об этом здесь.
Отказ от ответственности: Encedding Studio не является еще одной векторной базой данных, это структура, которая позволяет преобразовать вашу векторную базу данных в поисковую систему со всеми нюансами.
Подробнее о проблемах и решениях здесь
Наша структура позволяет вам постоянно точно настраивать вашу модель на основе пользовательского опыта, позволяя вам быстрее и точнее формировать результаты поиска для пользователей.
Просмотреть нашу официальную документацию.
Чтобы попробовать в Embedding Studio, вы можете запустить предварительно сконфигурированный демонстрационный проект. Мы подготовили набор данных, сохраненный в публичном ведре S3, эмулятор для кликов пользователей и базовый сценарий для точной настройки модели. Адаптируя его к вашим требованиям, вы можете инициировать точную настройку для своей модели.
Убедитесь, что у вас есть команда docker compose version , работающая над вашей системой:
Docker Compose version v2.23.3Вы также можете попробовать команду версии Docker-Compose. Двигаясь вперед, мы будем использовать более новую команду версии Docker Compose, но команда версий Docker-Compose также может успешно работать в вашей системе.
Во -первых, выпустите все службы Embedding Studio, выполнив следующую команду:
docker compose up -dКак только все услуги выйдут, вы можете начать использовать Embedding Studio. Давайте смоделируем сеанс поиска пользователя. Мы запустим предварительно построенный сценарий, который вызовет API Encedding Studio и эмулирует поведение пользователей:
docker compose --profile demo_stage_clickstream up -dПосле выполнения скрипта вы можете инициировать точную настройку модели. Выполнить следующую команду:
docker compose --profile demo_stage_finetuning up -d Это будет стоять в очереди за задачу, обработанную работником с тонкой настройкой. Чтобы получить все задачи в очередь с тонкой настройкой, отправьте запрос GET в конечную точку /api/v1/fine-tuning/task :
curl -X GET http://localhost:5000/api/v1/fine-tuning/taskОтвет будет что -то вроде:
[
{
"fine_tuning_method" : " Default Fine Tuning Method " ,
"status" : " processing " ,
"created_at" : " 2023-12-21T14:30:25.823000 " ,
"updated_at" : " 2023-12-21T14:32:16.673000 " ,
"batch_id" : " 65844a671089823652b83d43 " ,
"id" : " 65844c019fa7cf0957d04758 "
}
] После того, как у вас есть идентификатор задачи, вы можете напрямую отслеживать прогресс с тонкой настройкой, отправив запрос GET на конечную точку /api/v1/fine-tuning/task/{task_id} :
curl -X GET http://localhost:5000/api/v1/fine-tuning/task/65844c019fa7cf0957d04758Результат будет похож на то, что вы получили при запросе всех задач. Для более удобного способа отслеживания прогресса, вы можете использовать Mlflow по адресу http: // localhost: 5001.
Также полезно проверить журналы fine_tuning_worker , чтобы убедиться, что все функционирует правильно. Для этого перечислите все сервисы, используя команду:
docker logs embedding_studio-fine_tuning_worker-1Если все завершится успешно, вы увидите журналы, похожие на:
Epoch 2: 100% | ██████████ | 13/13 [01: 17< 00:00, 0.17it/s, v_num = 8]
[2023-12-21 14:59:05,931] [PID 7] [Thread-6] [pytorch_lightning.utilities.rank_zero] [INFO] ` Trainer.fit ` stopped: ` max_epochs=3 ` reached.
Epoch 2: 100% | ██████████ | 13/13 [01: 17< 00:00, 0.17it/s, v_num = 8]
[2023-12-21 14:59:05,975] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.finetune_embedding_one_param] [INFO] Save model (best only, current quality: 8.426392069685529e-05)
[2023-12-21 14:59:05,975] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Save model for 2 / 9a9509bf1ed7407fb61f8d623035278e
[2023-12-21 14:59:06,009] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [WARNING] No finished experiments found with model uploaded, except initial
[2023-12-21 14:59:16,432] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Upload is finished
[2023-12-21 14:59:16,433] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.finetune_embedding_one_param] [INFO] Saving is finished
[2023-12-21 14:59:16,433] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Finish current run 2 / 9a9509bf1ed7407fb61f8d623035278e
[2023-12-21 14:59:16,445] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Current run is finished
[2023-12-21 14:59:16,656] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Finish current iteration 2
[2023-12-21 14:59:16,673] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Current iteration is finished
[2023-12-21 14:59:16,673] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.worker] [INFO] Fine tuning of the embedding model was completed successfully !Поздравляю! Вы успешно улучшили модель!
Чтобы загрузить лучшую модель, которую вы можете использовать Apding Studio API:
curl -X GET http://localhost:5000/api/v1/fine-tuning/task/65844c019fa7cf0957d04758Если все в порядке, вы увидите следующий вывод:
{
"fine_tuning_method" : " Default Fine Tuning Method " ,
"status" : " done " ,
"best_model_url" : " http://localhost:5001/get-artifact?path=model%2Fdata%2Fmodel.pth&run_uuid=571304f0c330448aa8cbce831944cfdd " ,
...
} И best_model_url Field содержит http -доступную модель model.pth .
Вы можете скачать *.pth File, выполнив следующую команду:
wget http://localhost:5001/get-artifact ? path=model%2Fdata%2Fmodel.pth & run_uuid=571304f0c330448aa8cbce831944cfddМы приветствуем вклад в Embedding Studio!
Encedding Studio лицензирована по лицензии Apache, версия 2.0. Смотрите лицензию для полной лицензии.
