operator

Encoder-Run: оператор Kubernetes для автоматического генерации векторных встроений для исходного кода

encoder-run -это оператор Kubernetes, предназначенный для автоматизации жизненного цикла исходного кода. Это также управляет базовой инфраструктурой хранения и модели. Этот проект гарантирует, что векторы остаются актуальными с последними изменениями в репозиториях исходного кода, улучшению поиска, проверки сходства, RAG и задач анализа кода.

Функции

• Развертывание модели : развертывает модели SEDENCETRANSFORMER/Кодирование для проведения встроенных внедрений.
• Непрерывная синхронизация : отслеживает репозитории исходного кода и запускает процесс кодирования для обновленного кода, гарантируя, что встраивание оставалось текущим.
• Масштабируемая и эффективная : оптимизирована для производительности и масштабируемости, с легкостью обрабатывая несколько репозитории и большие кодовые базы.
• Настраиваемые модели кодирования : поддерживает различные модели кодирования, позволяя пользователям выбирать наилучшее соответствие для их конкретных требований.

Архитектура трубопровода энкодера

Начиная

Примечания

• Убедитесь, что у вас есть много доступных памяти для запуска настройки Kubernetes. Проверьте ресурсы для настольных компьютеров Docker для памяти и убедитесь, что его 24 ГБ+. Убедитесь, что диск устанавливается разумно из -за характера больших весов модели и больших изображений докеров.
• Размеры для внедрения в настоящее время жестко кодируются до 768, поэтому убедитесь, что трансформатор, который вы развертываете, совпадают.
• Локальное время внедрения намного длиннее, чем использование настройки на основе графического процессора. Иногда модели первого запроса/партии ответа медленная, но последующие запросы будут быстрее и более последовательными. Не стесняйтесь запустить эту настройку на машине с помощью GPU, чтобы ускорить время вывода.

Предварительные условия

Перед настройкой encoder-run убедитесь, что следующие предпосылки выполняются:

• Golang : Goland версия 1.21.*+ Требуется.
• Docker : Docker должен быть установлен в вашей системе, так как необходимо для контейнерирования компонентов и зависимостей приложения. Посетите официальный сайт Docker для инструкций по установке.
• Kubernetes Kind : вид используется для создания локального кластера Kubernetes. Если он еще не установлен, вы можете запустить make kind-install который проверит его присутствие и установит его, если он отсутствует.
• Узел : Узел используется только в том случае, если вы развиваете локально. Пожалуйста, установите v18.17.0.

Развертывание

После удовлетворения предпосылок используйте следующую команду для развертывания приложения. Это создаст все изображения из источника. В первый раз может занять 10 минут+.

 make deploy

или пропустить здание из источника (быстрее, когда оно тянутся из Dockerhub):

 make deploy-staging

Эта команда установит необходимые конфигурации Kubernetes и запустит все компоненты. После развертывания это разоблачит:

• Консоль-UI на localhost:32081
• Ворота на localhost:32080

Запуск фронта с макетными данными

Чтобы запустить интерфейс Frontend с макетными данными, выполните следующие действия:

1. Перейдите в каталог консоли-UI Frontend:

    cd frontend/console-ui
   npm install && npm run generate
   cd ../mock
   npm install
   cd ../console-ui
   npm run local

Эта настройка развернет пользовательский интерфейс на localhost:3000 и макетный шлюз на localhost:4000 , имитируя полную среду для разработки или тестирования.

Дорожная карта

Вот краткий список запланированных функций и усовершенствований для encoder-run :

• Развертывание Redis
• Postgres Внешний DB
• Postgres развертывание
• Elasticsearch развертывание/внешнее
• Пользовательские стратегии обучения на основе AST и т. Д.

Не стесняйтесь вносить свой вклад или предложить новые функции, открыв проблему или отправив запрос на притяжение в нашем репозитории GitHub.

Сообщество и обратная связь

Encoder-Run-это проект с открытым исходным кодом, и мы поощряем и приветствуем взносы. Если вы хотите внести свой вклад, обязательно ознакомьтесь с нашими руководящими принципами взносов и кодексом поведения.

Для проблем с установкой и настройкой обсуждения о том, как лучше всего использовать Encoder-Run, используйте наши проблемы с GitHub и обязательно включите как можно больше деталей.