Vector_DB_with_LLM

Vector_db_with_llm

Vector_db_with_llm

FastAPI est un cadre Web moderne, rapide (haute performance) et de création d'API avec Python 3.8+ basé sur Python standard. Il s'agit d'un référentiel qui fournit pour livrer les enregistrements à l'application Prometheus-Export.

Langchain (https://github.com/langchain-ai/langchain) est un cadre pour développer des applications alimentées par des modèles de grande langue (LLM). Langchain est un cadre open source pour la création d'applications basée sur des modèles de grande langue (LLMS). Les LLM sont de grands modèles d'apprentissage en profondeur pré-formés sur de grandes quantités de données qui peuvent générer des réponses aux requêtes utilisateur. Par exemple, répondre à des questions ou créer des images à partir d'invites textuelles. Les invites sont des questions que les gens utilisent pour chercher des réponses auprès d'un LLM.

• Exemple: https://colab.research.google.com/github/i-am-shuan/learn-langchain/blob/main/langchain_rag_example.ipynb, https://velog.io/@kwon0koang/%EB%A1%9C%EC%BB%AC%EC%97%90%EC%84%9C-LALAMA3-%B0
• Documentation: https://wikidocs.net/231600 Artical: Artical: Https://wikidocs.net/231600 Artical: Artical: Artical: Artical: Https://wiKidocs.net/231600
• Artical: Artical: Arttics https://hackernoon.com/lang/ko/ollama-python-%eb%B0%8FCHROMDB%EB%A5%BC-%EC%AC%AC%EC%9A % A9% ED% 95% 98% EC% 97% AC-% EB% A1% 9C% EC% BB% AC% EC% 97% 90% EC% 84% 9C-LLM% EC% 9D% 84-% EC% 84% A4% EC% A 0% 95% ED% 95% 98% EB% 8A% 94-% EB% 8B% A8% EA% B3% 84% EB% B3% 84-% EA B0% 80% EC% 9D% B4% EB% 93% 9C% EB% A1% 9 C-% EB% 82% 98% EB% A7% 8C% EC% 9D% 98-% EB% 9E% 98% EA% B7% B8-% EC% 95% B1-% EB% A7% 8C% EB% 93% A4% EA% B8% B0
• LOCAL LLM: https://github.com/FirsSpersonCode/Local-Rag?ref=hackernoon.com

vectordb (c.-à-d. Milvus, Faiss (Facebook AI Simility Search), ChroMA, QDRANT, PINECONE): une base de données Vector (VectordB) est conçue pour le magasin et la gestion des données vectorielles, souvent utilisées dans l'apprentissage automatique et les applications AI. Les données vectorielles se réfèrent aux représentations numériques des objets, qui peuvent être utilisés pour la recherche de similitude, le clustering et d'autres tâches. (Référence: https://krishna-yogik.medium.com/vectordb-tutorial-a-beginners-guide-06dc33fac2f)

• Cas d'utilisation du
  • système de recommandations VectordB: alimentant les recommandations personnalisées en trouvant des utilisateurs ou des éléments similaires en fonction de leurs représentations vectorielles. (Exemples: Recommandations de films, de musique ou de produits)
  • Recommandations d'image et de vidéo: activer la récupération d'image et de vidéo basée sur le contenu en recherchant des fonctionnalités visuelles similaires.
  • Traitement du langage naturel (PNL): trouver des textes, documents ou requêtes sémantiquement similaires à l'aide d'intégration de vecteur à partir de modèles comme Bert ou Word2Vec. (Exemples: regroupement de documents, analyse des sentiments, recherche sémantique)
  • Détection d'anomalies: identification des modèles inhabituels ou des valeurs aberrantes dans des données de grande dimension. (Détection de fraude, détection d'intrusion du réseau)

RAG (Génération à la récupération augmentée) est une technique d'IA qui permet aux entreprises d'intégrer automatiquement leurs données propriétaires les plus récentes et les plus pertinentes directement dans leur invite LLM.

• Nous ne parlons pas seulement de données structurées comme une feuille de calcul ou une base de données relationnelle.
• Nous entendons la récupération de toutes les données disponibles, y compris les données non structurées: e-mails, PDF, journaux de discussion, publications de médias sociaux et autres types d'informations qui pourraient conduire à une meilleure sortie d'IA.
• En un mot, RAG aide les entreprises à récupérer et à utiliser leurs données à partir de diverses sources internes pour de meilleurs résultats d'IA génératifs.
• Pour atteindre cette précision améliorée, RAG fonctionne en conjonction avec un type de base de données spécialisé - appelé base de données vectorielle - pour stocker des données dans un format numérique qui a du sens pour l'IA et la récupérer lorsqu'elle est invitée.
• Rag ne peut pas faire son travail sans que la base de données vectorielle ne fasse son travail.
• Étape (https://blog.naver.com/htk1019/223442628204): chargeur de documents ⮕ Splitter de texte ⮕ Embeding ⮕ Vector Store (Saining Vector) ⮕ Retriver
• [1] Text Chunking - divisez les données en petits morceaux.
• [2] Transformation d'intégration - Utilisez un modèle d'incorporation pour convertir chaque morceau de texte en une incorporation.
• [3] Stockage vectoriel - Stockez les intégres de données dans une base de données vectorielle.
• [4] Mappage de texte - Enregistrez les morceaux de texte et leurs incorporations correspondantes pour une utilisation future.
• [5] Intégration de la requête - Transformez la requête de l'utilisateur en une incorporation en utilisant le même modèle d'intégration utilisé plus tôt.
• [6] Requête de la base de données - Utilisez l'intégration de la requête pour récupérer les incorporations de données pertinentes à partir de la base de données vectorielle.
• [7] Recherche de similitude - Pour identifier les morceaux de texte les plus similaires, effectuez la recherche approximative du voisin (ANN) le plus proche.
• [8] Mappage de contexte - Carte les vecteurs récupérés vers des morceaux de texte correspondants.
• [9] Réponse LLM - Passez le contexte récupéré dans l'invite avec la requête au LLM pour obtenir la réponse. Cela garantit que la réponse repose uniquement sur le contexte donné.

Apache Flink: Apache Kafka et Apache Flink sont deux outils puissants dans les mégadonnées et le traitement des flux. Bien que Kafka soit connue pour son système de messagerie robuste, Flink est bon dans le traitement et l'analyse des flux en temps réel.

• Apache Kafka: plate-forme de streaming distribuée, système de messagerie pour les flux de données en temps réel, Système de messagerie de publication-subscription, thème / producteur / consommateur
• Apache Flink: Framework de traitement de flux distribué, traitement de flux et analyse, le traitement de flux de données / flux en temps réel / en temps réel, le traitement / flux de flux / flux de flux (https://medium.com/@priyankbhandia_24919/apache-flink-for-data-enrichment-6118d48de04, https://yenaworldblog.wordpress.com/2018/06/20/flink-install-%84%A4%EC%B9%98/, https://medium.com/@aaron.cpsh/designing-streaming-data-pipeline-with-apache-flink-and-kafka-a75c75d55918)
  • Apache Flink est un framework et un moteur de traitement distribué pour des calculs état sur les flux de données liés et non liés. Les flux de données délimités peuvent être considérés comme un traitement par lots et des flux de données illimités peuvent être considérés comme un traitement de flux, car
  • Pyflink a discuté conventionnellement est une API Python pour Apache Flink. Il permet aux utilisateurs d'écrire des programmes Flink dans Python et de les exécuter sur un cluster Flink.
  • Des sources et des éviers peuvent être récupérés à partir de diverses sources:
    • Système de fichiers (source / puits)
    • Apache Kafka (source / puits)
    • Apache Cassandra (puits)
    • Amazon Kinesis Streams (source / swier
    )
    • Elasticsearch (
    • puits)
    • Hadoop FileSystem
    • (swier)
    • Rabbitmq
    • (source / swier) Apache
    • NiFi (
    Source
  • / Pier : https://thingsolver.com/blog/streaming-analytics-in-banking-how-to-start-with-apache-flink-and-kafka-in-7-steps/, https://github.com/apache/flink/blob/master/flink-pinch.py.py, https://github.com/apache/flink/blob/master/flink-python/pyflink/examples/datastream/connectors/kafka_json_format.py

Streamlit is an open-source Python framework for data scientists and AI/ML engineers to deliver interactive data apps

• https://github.com/streamlit/llm-examples, https://pypi.org/project/streamlit-chat/
• rational d'installation et d'exécution

pip install streamlit pip install streamlit-chat streamlit run [streamlit-filenam.py] [--server.port 30001] streamlit run app.py

• applications Tests: https://github.com/streamlit/llm-examples/blob/main/.github/workflows/app-testting.yml
• exigences-dev.txt

black==23.3.0 mypy==1.4.1 pre-commit==3.3.3 watchdog pytest

Gradio (https://www.gradio.app/guides/quickstart): Gradio est un package Python ouvert qui vous permet de créer rapidement une application de démonstration ou Web pour votre modèle d'apprentissage automatique, API ou toute fonction Python arbitraire. Vous pouvez ensuite partager un lien vers votre démo ou votre application Web en quelques secondes en utilisant les fonctionnalités de partage intégrées de Gradio.

• Exécuter: ./gradio-start.sh
• Installation: nous recommandons d'installer Gradio à l'aide de PIP, qui est inclus par défaut dans Python ( pip install --upgrade gradio )

Elasticsearch Gen-AI: https://github.com/elastic/elasticsearch-labs/blob/main/notebooks/generative-ai/chatbot.ipynb

• codpaces (https://github.com/features/codepaces, https://velog.io/@profile_exe/github-codepaces): les codes github vous obligent et codaient plus rapidement avec des environnements de développement de nuages ​​entièrement configurés et sécurisés natifs à GitHub.

• Pyautogui permet à vos scripts Python de contrôler la souris et le clavier pour automatiser les interactions avec d'autres applications. L'API est conçue pour être simple. Pyautogui fonctionne sur Windows, MacOS et Linux, et s'exécute sur Python 2 et 3. Pour installer avec PIP, exécutez pip install pyautogui . Voir la page d'installation pour plus de détails (https://pyautogui.readthedocs.io/en/latest/)

import pyautogui import time while True: print(pyautogui.position ()) pyautogui.moveTo(100,200) pyautogui.click(100, 200) # pyautogui.moveTo(200,200, duration=0.5) time.sleep(10)

• Jupyter Notebook ( ./jupyter-notebook.sh ): http: // localhost: 8889 / arbre / langchain / workflow / jupyter-workflow
  • pip install jupyterthemes #installing jupyter thèmes (jt -t oceans16 -t -n)
  • ! -N -l Thèmes disponibles: Chesterrish Grade3 GruvBoxd GruvBoxl Monokai Oceans16 Onedork Solarisé Solarisé (.Venv)

Python v3.9 Installez

• Gunicorn / Fastapi: https://chaechae.lifet/blog/fastapi-deployment-gunicorn#gaogle_vignette
• python3.11 (https://datamoney.tistory.com/378)

sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel git wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz tar –zxvf Python-3.9.0.tgz or tar -xvf Python-3.9.0.tgz cd Python-3.9.0 ./configure --libdir=/usr/lib64 sudo make sudo make altinstall # python3 -m venv .venv --without-pip sudo yum install python3-pip sudo ln -s /usr/lib64/python3.9/lib-dynload/ /usr/local/lib/python3.9/lib-dynload # -- From Python ^3.10 , It need to be installed openssl # openssl cd /usr/local/src wget https://www.openssl.org/source/openssl-1.1.1t.tar.gz tar xvf openssl-1.1.1t.tar.gz cd openssl-1.1.1t/ ./config --prefix=/usr/local/ssl --openssldir=/usr/local/ssl shared zlib make sudo make install export LDFLAGS= " -L/usr/local/ssl/lib " export CPPFLAGS= " -I/usr/local/ssl/include " # openssl확인 /usr/local/ssl/bin/openssl version export LD_LIBRARY_PATH=/usr/local/ssl/lib: $LD_LIBRARY_PATH echo $LD_LIBRARY_PATH sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel git wget https://www.python.org/ftp/python/3.11.0/Python-3.11.0.tgz tar –zxvf Python-3.11.0.tgz or tar -xvf Python-3.11.0.tgz cd Python-3.11.0 # --with-openssl-rpath=auto 옵션을 추가하여 파이썬이 자동으로 올바른 OpenSSL 라이브러리 경로를 찾도록 함 # ./configure --libdir=/usr/lib64 --with-openssl=/usr/local/ssl --with-openssl-rpath=auto ./configure --libdir=/usr/lib64 --with-openssl=/usr/bin/ssl --with-openssl-rpath=auto sudo make sudo make altinstall # -- Error occurs when installing packages via pip like below (.venv) -bash-4.2$ pip install elasticsearch==7.13 WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ' SSLError("Can ' t connect to HTTPS URL because the SSL module is not available. " )': /simple/elasticsearch/ WARNING: Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError( " Can ' t connect to HTTPS URL because the SSL module is not available.") ' : /simple/elasticsearch/ ERROR: Operation cancelled by user # -- python -m venv .venv source .venv/bin/activate # -- Swagger pip install poetry poetry add fastapi poetry add uvicorn poetry add gunicorn poetry add pytz poetry add httpx poetry add pytest poetry add pytest-cov poetry add requests poetry add pyyaml poetry add elasticsearch==7.13 poetry add python-dotenv poetry add jupyter # -- # -- Vector poetry config virtualenvs.in-project true pip install poetry poetry init poetry add openai langchain langchainhub tiktoken chromadb langchain-community bs4 python-dotenv poetry add sentence-transformers poetry add pypdf poetry add docx2txt poetry add faiss-cpu poetry add requests pip install --q openai langchain langchainhub tiktoken chromadb langchain-community bs4 # when error occur like this # ImportError: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'OpenSSL 1.0.2k-fips 26 Jan 2017'. See: https://github.com/urllib3/urllib3/issues/2168 pip install urllib3==1.26.18 pip install pytz pip install requests==2.27.1

API Run

• start Service Utilisation ./service-start.sh
• fyi) Installez la bibliothèque avec setup.py comme pip install git+https://github.com/jm/git_pip_install.git ou git+https://oss.navercorp.com/nsml/nsml_notebook.git@branch_name (https://liferecorde.tistory.com/49, https://newsight.tistory.com/296)
• Extraire du texte à l'aide de Langchain.Document_loaders avec tika ( ./Langchain/workflow/ )

curl -X ' POST '  ' http://localhost:7001/vector/uploadfile '  -H ' accept: application/json '  -H ' Content-Type: multipart/form-data '  -F ' [email protected];type=application/msword ' { " filename " : [ { " index " : { " _index " : " test_context " , " _type " : " search " } }, { " ES_UPLOADED " : " JSON_FORMAT " , " CONTENT " : " This is a test Word document for the TemplatePackage example site. " } ] }

• Démarrer et extraire du texte à l'aide de packages Langchain.community à l'aide de python ./Langchain/workflow/text_loader.py

*** type : < class ' list ' > / len : 1 data : [Document(metadata={'source': 'C:\Users\euiyoung.hwang\Git_Workspace\Vector_DB_with_LLM/Data/Sample.hwp'}, page_content='KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산')] page_content : KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산 *** [ { " index " : { " _index " : " test_context " , " _type " : " search " } }, { " ES_UPLOADED " : " JSON_FORMAT " , "CONTENT": "KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산" } ]

• URL de l'API REST: http://localhost:7001/docs

Pytest

• va dans un environnement virtuel en utilisant source .venv/bin/activate
• exécuter cette commande manuellement: poetry run py.test -v --junitxml=test-reports/junit/pytest.xml --cov-report html --cov tests/ ou ./pytest.sh

$ ./pytest.sh tests t est_api.py::test_skip SKIPPED (no way of currently testing this) [ 50%] tests t est_api.py::test_api PASSED [100%] ---------- coverage: platform win32, python 3.11.7-final-0 ----------- Name Stmts Miss Cover Missing ---------------------------------------------------------------- config c onfig.py 8 4 50% 16-20, 33 config l og_config.py 32 1 97% 42 controller _ _init__.py 0 0 100% controller c luster_controller.py 14 0 100% injector.py 25 0 100% main.py 23 9 61% 38-57, 69 service _ _init__.py 0 0 100% service e s_search_handler.py 139 103 26% 32-88, 131-132, 139-155, 160-173, 178-191, 196-213, 219-254, 259-271, 276-287, 292-304, 309-315 service e s_util.py 21 16 24% 5-11, 16-19, 24-35, 40-41 service q uery_builder.py 42 27 36% 21-40, 48-51, 64-83, 89-98, 102-137 service s tatus_handler.py 13 2 85% 12, 19 tests _ _init__.py 0 0 100% tests c onftest.py 8 0 100% tests t est_api.py 9 1 89% 7 ---------------------------------------------------------------- TOTAL 334 163 51% $

• ./circleci/config.yml

/ cd

• Avec Circleci, chaque engagement lance un nouvel emploi dans notre plate-forme et le code est construit, testé et déployé.
• Actions GitHub ( ./.github/workflows/build-and-test.yml ): GitHub Actions est une plate-forme d'intégration continue et de livraison continue (CI / CD) qui vous permet d'automatiser votre pipeline de construction, tester et de déploiement. Vous pouvez créer des workflows qui construisent et testent chaque demande de traction vers votre référentiel, ou déployer des demandes de traction fusionnées à la production.

Registre Service

• Sudo Service Vector_Interface_API Statut / stop / start / redémarrer

# -- /etc/systemd/system/vector_interface_api.service [Unit] Description=Swagger ES Service [Service] User=devuser Group=devuser Type=simple ExecStart=/bin/bash /home/devuser/Git_Repo/service-start.sh ExecStop= /usr/bin/killall vector_interface_api [Install] WantedBy=default.target # Service command sudo systemctl daemon-reload sudo systemctl start vector_interface_api.service sudo systemctl status vector_interface_api.service sudo systemctl stop vector_interface_api.service sudo service vector_interface_api status/stop/start