Vector_DB_with_LLM

Vector_db_with_llm

Vector_db_with_llm

Fastapi-это современный, быстрый (высокопроизводительный), веб-структура для создания API с Python 3.8+ на основе стандартного Python. Это репозиторий, который предоставляет для доставки записей в приложение Prometheus-Export.

Langchain (https://github.com/langchain-ai/langchain)-это основа для разработки приложений, основанных на крупных языковых моделях (LLMS). Langchain - это рамка с открытым исходным кодом для создания приложений на основе крупных языковых моделей (LLMS). LLM-это большие модели глубокого обучения, предварительно обученные большим объемам данных, которые могут генерировать ответы на запросы пользователей. Например, отвечать на вопросы или создание изображений из текстовых подсказок. Подсказки - это вопросы, которые люди используют, чтобы искать ответы от LLM.

• Пример: https://colab.research.google.com/github/i-am-shuan/learn-langchain/blob/main/langchain_rag_example.ipynb, https://velog.io/@kwon0koang/%EB%A1%9C%EC%BB%AC%EC%97%90%84%9C-Lama3-%EB%8F%8C%EB%A6%EA%B8%B0
• Документация: https://wikidocs.net/23166
• . https://hackernoon.com/lang/ko/ollama-python-%EB%B0%8FCHROMDB%EB%A5%BC-%EC%82%ACек%%9A %A9%ED%95%98%EC%97%AC-%EB%A1%9C%EC%BB%AC%EC%97%90%EC%84%9C-LLM%EC%9D%84-%EC%84%A4%EC%A 0%95%ED%95%98%EB%8A%94-%EB%8B%A8%EA%B3%84%EB%B3%84-%EA%B0%80%EC%9D%B4%EB%93%9C%EB%A1%9 C-%EB%82%98%EB%A7%8C%EC%9D%98-%EB%9E%98%EA%B7%B8-%EC%95%B1-%EB%A7%8C%EB%93%A4%EA%B8%B0
• Local LLM: https://github.com/firstpersoncode/local-rag?ref=hackernoon.com

Vectordb (IE, Milvus, Faiss (Facebook AI Searnity Search), Chrama, Qdrant, Pinecone): векторная база данных (Vectordb) предназначено для хранения и управления данными и управлением векторами, часто используемыми в машинных приложениях. Векторные данные относится к численным представлениям объектов, которые можно использовать для поиска сходства, кластеризации и других задач. (Ссылка: https://krishna-yogik.medium.com/vectordb-tutorial-a-beginners-guide-06dc333fac2f)

• Примеры использования
  • системы рекомендаций Vectordb: питание персонализированных рекомендаций, находя аналогичных пользователей или элементы на основе их векторных представлений. (Примеры: Рекомендации фильма, музыка, музыка или продукты)
  • Изображение и поиск видео: Включение контента на основе контента и поиска видео путем поиска аналогичных визуальных функций.
  • Обработка естественного языка (NLP): поиск семантически похожих текстов, документов или запросов с использованием векторных вторжений из таких моделей, как BERT или Word2VEC. (Примеры: кластеризация документов, анализ настроений, семантический поиск)
  • Обнаружение аномалий: выявление необычных закономерности или выбросов в высокомерных данных. (Обнаружение мошенничества, обнаружение вторжений в сети)

Rag (поиск зарегистрированного генерации) - это метод ИИ, который позволяет компаниям автоматически внедрять свои наиболее современные и соответствующие запатентованные данные непосредственно в свою подсказку LLM.

• Мы не просто говорим о структурированных данных, таких как электронная таблица или реляционная база данных.
• Мы имеем в виду получение всех доступных данных, включая неструктурированные данные: электронные письма, PDF -файлы, журналы чата, сообщения в социальных сетях и другие типы информации, которые могут привести к лучшему выводу искусственного интеллекта.
• Короче говоря, Rag помогает компаниям извлекать и использовать свои данные из различных внутренних источников для лучших результатов генеративного искусственного интеллекта.
• Чтобы достичь этой улучшенной точности, RAG работает в сочетании со специализированным типом базы данных, называемой векторной базой данных, - для хранения данных в числовом формате, который имеет смысл для ИИ, и извлекать их при привлечении.
• Rag не может выполнять свою работу без векторной базы данных, выполняющей свою работу.
• Шаг (https://blog.naver.com/htk1019/223442628204): Загрузчик документа ⮕ Текстовый разветвитель ⮕ Внедрение ⮕ Векторное хранилище (сохраняющий вектор) ⮕ Посмотреть
• [1] Текст -блюс - разделить данные на небольшие кусочки.
• [2] Встроение преобразования - Используйте модель встраивания для преобразования каждого текста в встраивание.
• [3] Векторное хранилище - храните встроенные данные в векторной базе данных.
• [4] Сопоставление текста - Сохраните текстовые куски и их соответствующие встроенные вторжения для будущего использования.
• [5] Встроение запроса - преобразовать запрос пользователя в встраивание с использованием той же модели встраивания, что и ранее.
• [6] Запрос базы данных - Используйте встраивание запроса, чтобы получить соответствующие встроенные данные из векторной базы данных.
• [7] Поиск сходства - Для определения наиболее похожих текстовых кусков выполните приблизительный поиск ближайшего соседа (ANN).
• [8] Сопоставление контекста - отображайте полученные векторы на соответствующие текстовые куски.
• [9] Ответ LLM - передайте извлеченный контекст в подсказке вместе с запросом LLM, чтобы получить ответ. Это гарантирует, что ответ опирается исключительно на заданный контекст.

Apache Flink: Apache Kafka и Apache Flink являются двумя мощными инструментами в области больших данных и потоковой обработки. В то время как Кафка известен своей надежной системой обмена сообщениями, Flink хорош в обработке и аналитике в реальном времени.

• Apache Kafka: распределенная потоковая платформа, система обмена сообщениями для потоков данных в режиме реального времени, система обмена сообщениями о публикации, тематические/производители/потребитель
• Apache Flink: Распределенная структура обработки/потоковой обработки, обработка потоков и аналитика, обработка DataStream/Stream (https://medium.com/@priyankbhandia_24919/apache-flink-for-data-enrichment-6118d48de04, https://yenaworldblog.wordpress.com/2018/06/20/flink-install-%EC%84%EC. https://medium.com/@aaron.cpsh/designing streaming-data-pipeline-with-apache-flink-and-kafka-a75c75d55918)
  • Apache Flink является структурой и распределенным механизмом обработки для вычислений по сравнению с ограниченными и неосуренными потоками данных. Ограниченные потоки данных можно рассматривать как пакетная обработка, а неоснованные потоки данных можно рассматривать как обработка потоков, поскольку условно обсуждается
  • Pyflink - это Python API для Apache Flink. Это позволяет пользователям писать программы Flink в Python и выполнять их в кластере Flink.
  • Источники и раковины могут быть извлечены из различных источников:
    • файловая система (источник/раковина)
    • Apache Kafka (источник/раковина)
    • Apache Cassandra (раковина)
    • Amazon Kinesis Streams (источник/раковина)
    • Elasticsearch (раковина)
    • Hadoop FileSystem (раковина)
    • Rabbitmq (Source/
    • Snipach Nifi (Source/Snive)
    • Twitter -потоковая передача (Source)
    • Googlebsup (Source/Sindbc
    • Sindbc
  • ) ~ Flink: https://thingsolver.com/blog/streaming-analytics-in-banking-how-to-start-with-apache-flink-and-kafka-in-steps/, https://github.com/apache/flink/blob/master/flink-python/pyflink/examplicmpream, conectors. https://github.com/apache/flink/blob/master/flink-python/pyflink/examples/datastream/connectors/kafka_json_format

.

• ​https://pypi.org/project/streamlit-chat/
• streamlit stail и run

pip install streamlit pip install streamlit-chat streamlit run [streamlit-filenam.py] [--server.port 30001] streamlit run app.py

black==23.3.0 mypy==1.4.1 pre-commit==3.3.3 watchdog pytest

• App
• Testing: https://github.com/streamlit/llm-examples/blob/main/.github/workflows/app-testn

black==23.3.0 mypy==1.4.1 pre-commit==3.3.3 watchdog pytest

Gradio (https://www.gradio.app/guides/quickstart): Gradio-это пакет Python с открытым исходным кодом, который позволяет быстро создавать демонстрацию или веб-приложение для модели машинного обучения, API или любой произвольной функции Python. Затем вы можете поделиться ссылкой на свое демонстрационное или веб-приложение всего за несколько секунд, используя встроенные функции обмена Gradio.

• Запустите: ./gradio-start.sh
• Установка: Мы рекомендуем установить Gradio с помощью PIP, который по умолчанию в Python ( pip install --upgrade gradio )

elasticsearch gen-ai: https://github.com/elastic/elasticsearch-labs/blob/main/notebooks/generative-ai/chatbot.ipynbs/lob/main/notebooks/generative-ai/chatbot.ipynbs/blob/main/notebooks/generative-ai/chatbot

• . (https://github.com/features/codespaces, https://velog.io/@profile_exe/github-codespaces): Github Codespaces поднимает вас и быстрее кодируется с полностью настроенными, безопасными средами развития облаков, родными для Github.

• Pyautogui позволяет вашим сценариям Python управлять мышью и клавиатурой для автоматизации взаимодействия с другими приложениями. API разработан, чтобы быть простым. Pyautogui работает на Windows, MacOS и Linux и работает на Python 2 и 3. Чтобы установить с PIP, запустите pip install pyautogui . Смотрите страницу установки для получения более подробной информации (https://pyautogui.readthedocs.io/en/latest/)

import pyautogui import time while True: print(pyautogui.position ()) pyautogui.moveTo(100,200) pyautogui.click(100, 200) # pyautogui.moveTo(200,200, duration=0.5) time.sleep(10)

• Notebook Jupyter ( ./jupyter-notebook.sh ): http: // localhost: 8889/kree/langchain/workflow/jupyter -workflow
  • pip устанавливает jupyterthemes #installing jupyter themes (jt -t oceans16 -n)
  • ! -N -l Доступные темы: gruvboxd gruvboxl monokai oceans16 onedork solarizedd solarizedl (.venv)

python v3.9 Установка

• стрельба/fastapi: https://chaechae.life/blog/fastyapi-deployment-gunicorn#goote_vignette
• python3.11 с open (https://datamoney.tistory.com/378)

sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel git wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz tar –zxvf Python-3.9.0.tgz or tar -xvf Python-3.9.0.tgz cd Python-3.9.0 ./configure --libdir=/usr/lib64 sudo make sudo make altinstall # python3 -m venv .venv --without-pip sudo yum install python3-pip sudo ln -s /usr/lib64/python3.9/lib-dynload/ /usr/local/lib/python3.9/lib-dynload # -- From Python ^3.10 , It need to be installed openssl # openssl cd /usr/local/src wget https://www.openssl.org/source/openssl-1.1.1t.tar.gz tar xvf openssl-1.1.1t.tar.gz cd openssl-1.1.1t/ ./config --prefix=/usr/local/ssl --openssldir=/usr/local/ssl shared zlib make sudo make install export LDFLAGS= " -L/usr/local/ssl/lib " export CPPFLAGS= " -I/usr/local/ssl/include " # openssl확인 /usr/local/ssl/bin/openssl version export LD_LIBRARY_PATH=/usr/local/ssl/lib: $LD_LIBRARY_PATH echo $LD_LIBRARY_PATH sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel git wget https://www.python.org/ftp/python/3.11.0/Python-3.11.0.tgz tar –zxvf Python-3.11.0.tgz or tar -xvf Python-3.11.0.tgz cd Python-3.11.0 # --with-openssl-rpath=auto 옵션을 추가하여 파이썬이 자동으로 올바른 OpenSSL 라이브러리 경로를 찾도록 함 # ./configure --libdir=/usr/lib64 --with-openssl=/usr/local/ssl --with-openssl-rpath=auto ./configure --libdir=/usr/lib64 --with-openssl=/usr/bin/ssl --with-openssl-rpath=auto sudo make sudo make altinstall # -- Error occurs when installing packages via pip like below (.venv) -bash-4.2$ pip install elasticsearch==7.13 WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ' SSLError("Can ' t connect to HTTPS URL because the SSL module is not available. " )': /simple/elasticsearch/ WARNING: Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError( " Can ' t connect to HTTPS URL because the SSL module is not available.") ' : /simple/elasticsearch/ ERROR: Operation cancelled by user # -- python -m venv .venv source .venv/bin/activate # -- Swagger pip install poetry poetry add fastapi poetry add uvicorn poetry add gunicorn poetry add pytz poetry add httpx poetry add pytest poetry add pytest-cov poetry add requests poetry add pyyaml poetry add elasticsearch==7.13 poetry add python-dotenv poetry add jupyter # -- # -- Vector poetry config virtualenvs.in-project true pip install poetry poetry init poetry add openai langchain langchainhub tiktoken chromadb langchain-community bs4 python-dotenv poetry add sentence-transformers poetry add pypdf poetry add docx2txt poetry add faiss-cpu poetry add requests pip install --q openai langchain langchainhub tiktoken chromadb langchain-community bs4 # when error occur like this # ImportError: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'OpenSSL 1.0.2k-fips 26 Jan 2017'. See: https://github.com/urllib3/urllib3/issues/2168 pip install urllib3==1.26.18 pip install pytz pip install requests==2.27.1

API Run

• Spart Service с использованием ./service-start.sh
• FYI) Библиотека установки с setup.py, как и pip install git+https://github.com/jm/git_pip_install.git или git+https://oss.navercorp.com/nsml/nsml_notebook.git@branch_name (https://liferecorde.tistory.com/49, https://newsight.tistory.com/296)
• Извлеките текст с использованием langchain.document_loaders с tika ( ./Langchain/workflow/ )

curl -X ' POST '  ' http://localhost:7001/vector/uploadfile '  -H ' accept: application/json '  -H ' Content-Type: multipart/form-data '  -F ' [email protected];type=application/msword ' { " filename " : [ { " index " : { " _index " : " test_context " , " _type " : " search " } }, { " ES_UPLOADED " : " JSON_FORMAT " , " CONTENT " : " This is a test Word document for the TemplatePackage example site. " } ] }

• Запустить и извлекать текст с помощью пакетов langchain.community с использованием python ./Langchain/workflow/text_loader.py

*** type : < class ' list ' > / len : 1 data : [Document(metadata={'source': 'C:\Users\euiyoung.hwang\Git_Workspace\Vector_DB_with_LLM/Data/Sample.hwp'}, page_content='KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산')] page_content : KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산 *** [ { " index " : { " _index " : " test_context " , " _type " : " search " } }, { " ES_UPLOADED " : " JSON_FORMAT " , "CONTENT": "KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산" } ]

• URL REST API: http://localhost:7001/docs

Pytest

• Перейдите в виртуальную среду, используя source .venv/bin/activate
• Запустите эту команду вручную: poetry run py.test -v --junitxml=test-reports/junit/pytest.xml --cov-report html --cov tests/ or ./pytest.sh

$ ./pytest.sh tests t est_api.py::test_skip SKIPPED (no way of currently testing this) [ 50%] tests t est_api.py::test_api PASSED [100%] ---------- coverage: platform win32, python 3.11.7-final-0 ----------- Name Stmts Miss Cover Missing ---------------------------------------------------------------- config c onfig.py 8 4 50% 16-20, 33 config l og_config.py 32 1 97% 42 controller _ _init__.py 0 0 100% controller c luster_controller.py 14 0 100% injector.py 25 0 100% main.py 23 9 61% 38-57, 69 service _ _init__.py 0 0 100% service e s_search_handler.py 139 103 26% 32-88, 131-132, 139-155, 160-173, 178-191, 196-213, 219-254, 259-271, 276-287, 292-304, 309-315 service e s_util.py 21 16 24% 5-11, 16-19, 24-35, 40-41 service q uery_builder.py 42 27 36% 21-40, 48-51, 64-83, 89-98, 102-137 service s tatus_handler.py 13 2 85% 12, 19 tests _ _init__.py 0 0 100% tests c onftest.py 8 0 100% tests t est_api.py 9 1 89% 7 ---------------------------------------------------------------- TOTAL 334 163 51% $

Ci/cd среда

• Circleci ( ./circleci/config.yml ): Circleci - это непрерывная интеграция и платформа непрерывной доставки, которая помогает командам -разработчикам работать умнее, быстрее. С Circleci каждый коммит начинает новую работу в нашей платформе, и код создан, тестируется и развернут.
• Действия Github ( ./.github/workflows/build-and-test.yml ): Github Action-это платформа непрерывной интеграции и непрерывной доставки (CI/CD), которая позволяет вам автоматизировать конвейер сборки, тестирования и развертывания. Вы можете создавать рабочие процессы, которые создают и проверяют каждый запрос на притяжение в ваш репозиторий, или развернуть объединенные запросы на вытягивание на производство.

Зарегистрировать службу

• службы SUDO VECTOR_INTERFACE_API Status/STOP/START/RESTART

# -- /etc/systemd/system/vector_interface_api.service [Unit] Description=Swagger ES Service [Service] User=devuser Group=devuser Type=simple ExecStart=/bin/bash /home/devuser/Git_Repo/service-start.sh ExecStop= /usr/bin/killall vector_interface_api [Install] WantedBy=default.target # Service command sudo systemctl daemon-reload sudo systemctl start vector_interface_api.service sudo systemctl status vector_interface_api.service sudo systemctl stop vector_interface_api.service sudo service vector_interface_api status/stop/start