Vector_DB_with_LLM

Vetor_db_with_llm

Vetor_db_with_llm

O FASTAPI é uma estrutura moderna, rápida (de alto desempenho), para criar APIs com Python 3.8+ com base no Python padrão. Este é um repositório que fornece para entregar os registros ao aplicativo Prometheus-Export.

Langchain (https://github.com/langchain-ai/langchain) é uma estrutura para o desenvolvimento de aplicativos alimentados por grandes modelos de idiomas (LLMS). O Langchain é uma estrutura de código aberto para criar aplicativos com base em grandes modelos de idiomas (LLMS). Os LLMs são grandes modelos de aprendizado profundo pré-treinados em grandes quantidades de dados que podem gerar respostas às consultas do usuário. Por exemplo, respondendo a perguntas ou criando imagens a partir de instruções baseadas em texto. Os avisos são consultas que as pessoas usam para buscar respostas de um LLM.

• Exemplo: https://colab.research.google.com/github/i-i-shuan/learn-langchain/blob/main/langchain_rag_example.ipynb, https://velog.io/@kwon0koang/%EB%A1%9C%EC%BB%EC%EC%97%90%EC%84%9C-lama3-%EB%8F%8C%EB%A6
• %EA%B8%B0 documentação: httts://wikiKIDEB%A6A6ACHN %B8 %B0 documatação: https://wikidkids
• . https://hackernoon.com/lang/ko/ollama-python-%eb%B0%8fchromdb%eb%A5%BC-%EC%82%EC%EC%9a %A9%ED%95%98%EC%97%CA-CA%EB%A1%9C%EC%BB%CA%EC%97%90%EC%84%9C-LLM%EC%9D%84-%EC%84%A4%EC%A. 0%95%ed%95%98%EB%8A%94-%EB%8B%A8%EA%B3%84%EB%B3%84-%ea%b0%80%EC%9d%b4%eb%93%9c%eB%A1%9 C-%EB%82%98%EB%A7%8C%EC%9D%98-%EB%9E%98%EA%B7%B8-%EC%95%B1-%EB%A7%8C%EB%93%A4%ea%b8%b0
• LLM local: https://github.com/firstPersoncode/local-rag?ref=hackernoon.com

VectordB (ou seja, Milvus, FAISS (Facebook AI similaridade Pesquisa), Chroma, QDRANT, PINECONE): um database de vetor (vetor Os dados vetoriais referem -se a representações numéricas de objetos, que podem ser usados ​​para pesquisa de similaridade, clustering e outras tarefas. (Referência: https://krishna-yogik.medium.com/vectordb-tutorial-beginners-guide-06dc333fac2f)

• Use casos de
  • Sistema de Recomendações do Vecordb: alimentação de recomendações personalizadas, encontrando usuários ou itens semelhantes com base em suas representações vetoriais. (Exemplos: Recomendações de Imagem e Vídeo de Filme, Música, Música ou Produto)
  • Recuperação de Imagem e Vídeo: Permitindo a Recuperação de Imagem e Vídeo baseada em conteúdo, procurando recursos visuais semelhantes.
  • Processamento de linguagem natural (PNL): Encontrando textos, documentos ou consultas semanticamente semelhantes usando incorporações de vetor de modelos como Bert ou Word2Vec. (Exemplos: agrupamento de documentos, análise de sentimentos, pesquisa semântica)
  • Detecção de anomalia: identificando padrões ou outliers incomuns em dados de alta dimensão. (Detecção de fraude, detecção de intrusões de rede)

RAG (Geração Aux da Recuperação) é uma técnica de IA que permite que as empresas incorporem automaticamente seus dados proprietários mais atuais e relevantes diretamente em seu prompt de LLM.

• Não estamos falando apenas de dados estruturados, como uma planilha ou um banco de dados relacional.
• Queremos querer recuperar todos os dados disponíveis, incluindo dados não estruturados: e -mails, PDFs, logs de bate -papo, postagens de mídia social e outros tipos de informações que podem levar a uma melhor saída de IA.
• Em poucas palavras, a RAG ajuda as empresas a recuperar e usar seus dados de várias fontes internas para obter melhores resultados generativos de IA.
• Para alcançar essa precisão aprimorada, o RAG funciona em conjunto com um tipo especializado de banco de dados - chamado de banco de dados vetorial - para armazenar dados em um formato numérico que faz sentido para a IA e recuperá -lo quando solicitado.
• Rag não pode fazer seu trabalho sem o banco de dados do vetor que faz seu trabalho.
• STEP (https://blog.naver.com/htk1019/223442628204): carregador de documentos ⮕ divisor de texto ⮕ incorporação ⮕ armazenamento de vetores (salvamento de vetor) ⮕ retriver
• [1] chunking de texto - divida os dados em pequenos pedaços.
• [2] Incorporação de transformação - use um modelo de incorporação para converter cada pedaço de texto em uma incorporação.
• [3] Armazenamento vetorial - Armazene os dados incorporados em um banco de dados vetorial.
• [4] Mapeamento de texto - salve os pedaços de texto e suas incorporações correspondentes para uso futuro.
• [5] Consulta incorporação - Transforme a consulta do usuário em uma incorporação usando o mesmo modelo de incorporação usado anteriormente.
• [6] Consulta de banco de dados - use a consulta incorporando para recuperar dados relevantes incorporados do banco de dados do vetor.
• [7] Pesquisa de similaridade - Para identificar os pedaços de texto mais semelhantes, execute a pesquisa aproximada do vizinho mais próximo (Ann).
• [8] Mapeamento de contexto - Mapeie os vetores recuperados para os pedaços de texto correspondentes.
• [9] LLM Response - Passe o contexto recuperado no prompt junto com a consulta ao LLM para obter a resposta. Isso garante que a resposta depende apenas do contexto dado.

Apache Flink: Apache Kafka e Apache Flink são duas ferramentas poderosas no Big Data e no processamento de fluxo. Enquanto a Kafka é conhecida por seu sistema de mensagens robustas, o Flink é bom no processamento e análise de fluxos em tempo real.

• Apache Kafka: plataforma de streaming distribuído, sistema de mensagens para fluxos de dados em tempo real, publicar-se-assinando sistema de mensagens, tópico/produtor/consumidor
• Apache Flink: Estrutura de processamento de fluxo distribuído, processamento e análise de fluxo, processamento de stream, processamento/janela de fluxo, processamento de datastream/stream (https://medium.com/@priyankbhandia_24919/apache-flink-for-data-enrichment-6118d48de04, https://yenaworldblog.wordpress.com/2018/06/20/flink-insall-ative%ecblog.dress.com/2018/06/20/209, https://medium.com/@aaron.cpsh/designing-screaming-data-pipeline-with-apache-link-and-kafka-a75c75d55918)
  • O flinque é um mecanismo de processamento distribuído e de estrutura de dados sobre cálculos estabelecidos sobre dados limitados e não fundidos. Os fluxos de dados limitados podem ser pensados ​​como processamento em lote e fluxos de dados ilimitados podem ser pensados ​​como processamento de fluxos, pois
  • o pyflink discutido convencionalmente é uma API do Python para o Apache Flink. Ele permite que os usuários escrevam programas Flink no Python e os executem em um cluster Flink.
  • Fontes e pias podem ser recuperados de várias fontes:
    • sistema de arquivos (fonte/afundamento)
    • apache kafka (fonte/afundamento)
    • Apache Cassandra (Sink)
    • Amazon Kinesis Streams (fonte/pia)
    • Elasticsearch (Sink)
    • HADOOP FRIFIÇÃO (Sink)
    • Rabbitmq (fonte/poça)
    • Apache Nifi (Sink) Sinks Streaming API () PUCS () Google (Source) APAUB (fonte) API (Sink) API () PushB (Sink) RabbitMQ (fonte/pia) Apache NiFi (Sucha) Streaming API () PUCS (
    )
    • Google Rabsq (fonte/Sink) Apache (fonte/)
    • Streaming API (
    ) PUCS (), pushb ()
    • rabbitmq (fonte/fia)
  • Apache NiFi (She). : https://thingsolver.com/blog/streaming-analytics-in-banking-how-to-start-with-apache-flink-and-kafka-in-7-steps/, https://github.com/apache/flink/blob/master/flink-python/pyflink/examples/datastream/connectors/elasticsearch.py, https://github.com/apache/flink/blob/master/flink-python/pyflink/examples/datastream/connectors/kafka_json_format.py

slamlit é um dados de pitão aberto para cientistas de dados e engenheiros AI/ml para fornecer dados interativos HTTCs htts htts htts htats htats para scientists e ai/ml engenheiros para fornecer dados interativos htts htts htts htts htats htats para scientists de dados e ai/ml para entregar dados interativos htts htts htts htts htats htats: scientists e ml engenheiros interativos htits htats htates htats htats

• : scientists e ml engenheiros interativos https://pypi.org/project/streamlit-chat/
• streamlit install & run

pip install streamlit pip install streamlit-chat streamlit run [streamlit-filenam.py] [--server.port 30001] streamlit run app.py

• Teste de aplicativo: https://github.com/streamlit/llm-examples/blob/main/.github/workflows/app-testing.yml
• requisitos-dev.txt

black==23.3.0 mypy==1.4.1 pre-commit==3.3.3 watchdog pytest

Gradio (https://www.gradio.app/guides/quickstart): Gradio é um pacote Python de fonte aberta que permite criar rapidamente uma demonstração ou aplicativo da Web para o seu modelo de aprendizado de máquina, API ou qualquer função arbitrária de Python. Em seguida, você pode compartilhar um link para sua demonstração ou aplicativo da Web em apenas alguns segundos usando os recursos de compartilhamento interno da Gradio.

• RUN: ./gradio-start.sh
• Instalação: Recomendamos instalar o graduio usando o PIP, que é incluído por padrão no Python ( pip install --upgrade gradio )

• Elasticsearch

Gen-Ai: https://github.com/elastic/elticsearch-labs/blobs/notebooks/generative-ai/chaticsearch-labs/blobsin/notebooks/generative-ai/chatsearch-labs/blobsin/notebooks/generative-Aai

• (https://github.com/features/codespaces, https://velog.io/@profile_exe/github-codespaces): Github Codespaces leva você e codificando mais rápido com ambientes de desenvolvimento em nuvem totalmente configurados, nativos do Github.

• O Pyautogui permite que seus scripts Python controlem o mouse e o teclado para automatizar as interações com outros aplicativos. A API foi projetada para ser simples. O Pyautogui trabalha no Windows, MacOS e Linux, e é executado no Python 2 e 3. Para instalar com o PIP, execute pip install pyautogui . Veja a página de instalação para obter mais detalhes (https://pyautogui.readthedocs.io/en/latest/)

import pyautogui import time while True: print(pyautogui.position ()) pyautogui.moveTo(100,200) pyautogui.click(100, 200) # pyautogui.moveTo(200,200, duration=0.5) time.sleep(10)

• Jupyter Notebook ( ./jupyter-notebook.sh ): http: // localhost: 8889/árvore/langchain/workflow/
  • jupyter -workflow pip install -shemen
  • ! -L Temas disponíveis: Chesterish Grade3 Gruvboxd GruvBoxl Monokai Oceans16 Onedork Solarizedd Solarizedl (.Venv)

Python v3.9 Instale

• Gunicorn
• /FASTAPI: https://chaechae.life/blog/fastapi-deployment-gunicorn#googlegettette.life/blog/fastapi-DeployMment-Gunicorn#goods
• (https://datamoney.tistory.com/378)

sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel git wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz tar –zxvf Python-3.9.0.tgz or tar -xvf Python-3.9.0.tgz cd Python-3.9.0 ./configure --libdir=/usr/lib64 sudo make sudo make altinstall # python3 -m venv .venv --without-pip sudo yum install python3-pip sudo ln -s /usr/lib64/python3.9/lib-dynload/ /usr/local/lib/python3.9/lib-dynload # -- From Python ^3.10 , It need to be installed openssl # openssl cd /usr/local/src wget https://www.openssl.org/source/openssl-1.1.1t.tar.gz tar xvf openssl-1.1.1t.tar.gz cd openssl-1.1.1t/ ./config --prefix=/usr/local/ssl --openssldir=/usr/local/ssl shared zlib make sudo make install export LDFLAGS= " -L/usr/local/ssl/lib " export CPPFLAGS= " -I/usr/local/ssl/include " # openssl확인 /usr/local/ssl/bin/openssl version export LD_LIBRARY_PATH=/usr/local/ssl/lib: $LD_LIBRARY_PATH echo $LD_LIBRARY_PATH sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel git wget https://www.python.org/ftp/python/3.11.0/Python-3.11.0.tgz tar –zxvf Python-3.11.0.tgz or tar -xvf Python-3.11.0.tgz cd Python-3.11.0 # --with-openssl-rpath=auto 옵션을 추가하여 파이썬이 자동으로 올바른 OpenSSL 라이브러리 경로를 찾도록 함 # ./configure --libdir=/usr/lib64 --with-openssl=/usr/local/ssl --with-openssl-rpath=auto ./configure --libdir=/usr/lib64 --with-openssl=/usr/bin/ssl --with-openssl-rpath=auto sudo make sudo make altinstall # -- Error occurs when installing packages via pip like below (.venv) -bash-4.2$ pip install elasticsearch==7.13 WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ' SSLError("Can ' t connect to HTTPS URL because the SSL module is not available. " )': /simple/elasticsearch/ WARNING: Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError( " Can ' t connect to HTTPS URL because the SSL module is not available.") ' : /simple/elasticsearch/ ERROR: Operation cancelled by user # -- python -m venv .venv source .venv/bin/activate # -- Swagger pip install poetry poetry add fastapi poetry add uvicorn poetry add gunicorn poetry add pytz poetry add httpx poetry add pytest poetry add pytest-cov poetry add requests poetry add pyyaml poetry add elasticsearch==7.13 poetry add python-dotenv poetry add jupyter # -- # -- Vector poetry config virtualenvs.in-project true pip install poetry poetry init poetry add openai langchain langchainhub tiktoken chromadb langchain-community bs4 python-dotenv poetry add sentence-transformers poetry add pypdf poetry add docx2txt poetry add faiss-cpu poetry add requests pip install --q openai langchain langchainhub tiktoken chromadb langchain-community bs4 # when error occur like this # ImportError: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'OpenSSL 1.0.2k-fips 26 Jan 2017'. See: https://github.com/urllib3/urllib3/issues/2168 pip install urllib3==1.26.18 pip install pytz pip install requests==2.27.1

API Run

• Start service using ./service-start.sh
• FYI) Install library with setup.py like pip install git+https://github.com/jm/git_pip_install.git or git+https://oss.navercorp.com/nsml/nsml_notebook.git@branch_name (https://liferecorde.tistory.com/49, https://newsight.tistory.com/296)
• Extraia o texto usando Langchain.document_loaders com tika ( ./Langchain/workflow/ )

curl -X ' POST '  ' http://localhost:7001/vector/uploadfile '  -H ' accept: application/json '  -H ' Content-Type: multipart/form-data '  -F ' [email protected];type=application/msword ' { " filename " : [ { " index " : { " _index " : " test_context " , " _type " : " search " } }, { " ES_UPLOADED " : " JSON_FORMAT " , " CONTENT " : " This is a test Word document for the TemplatePackage example site. " } ] }

• Iniciar e extrair texto usando pacotes Langchain.Community usando python ./Langchain/workflow/text_loader.py

*** type : < class ' list ' > / len : 1 data : [Document(metadata={'source': 'C:\Users\euiyoung.hwang\Git_Workspace\Vector_DB_with_LLM/Data/Sample.hwp'}, page_content='KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산')] page_content : KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산 *** [ { " index " : { " _index " : " test_context " , " _type " : " search " } }, { " ES_UPLOADED " : " JSON_FORMAT " , "CONTENT": "KTX 노선도ﺎĀ Ā※ KTX 소요 시간과 운임은 철도청의 사정에 따라 변동할 수 있습니다.Ā서울용산광명Ā천안아산대전서대전동대구익산논산김제밀양정읍구포장성광주부산광주송정나주목포ĀྠĀ 경부선 ྠĀ 호남선ĀĀKTX 소요시간호남선 (서울~천안아산 경부선과 동일)서울서대전논산익산김제정읍장성광주광주송정나주목포시:분6:226:517:15-7:38--8:06-8:38경부선서울용산광명천안아산대전동대구밀양구포부산시:분5:305:456:246:307:187:498:148:27KTX 운임안내최저운임8,100원 (월~목 요금제 기준)호남선 (단위:원)행신8,1008,10015,10024,50026,40028,80031,20032,80035,00037,10039,00040,40044,80040,000용산8,10013,30022,70024,70027,20029,60031,20033,40036,30037,50038,90043,30038,400광명11,30020,70022,60025,10028,60029,40031,60034,50036,40037,10041,50036,700천안아산9,40011,40014,00017,70019,10021,70024,70026,60027,70032,20027,300서대전8,1008,1008,30010,00012,70015,90018,10019,70024,30019,300계룡8,1008,1008,10010,70014,00016,10017,70022,50017,400논산8,1008,1008,10011,40013,50015,10020,20014,800익산8,1008,1008,1009,80011,40016,50011,100김제8,1008,1008,1009,70014,8009,300정읍8,1008,1008,10012,1008,100장성8,1008,1008,9008,100광주송정8,1008,100-나주8,100-목포-광주경부선 (단위:원)행신8,1008,10014,10022,80039,70044,20047,80049,100서울8,10012,70021,40038,40043,00046,60047,900광명10,50019,20036,50041,00044,60046,000천안아산8,70025,60029,40032,90034,200대전16,90022,10025,30026,700동대구8,1009,30010,800밀양8,1008,100구포8,100부산" } ]

• REST API URL: http://localhost:7001/docs

Pytest

• vá para um ambiente virtual usando source .venv/bin/activate
• execute este comando manualmente: poetry run py.test -v --junitxml=test-reports/junit/pytest.xml --cov-report html --cov tests/ ./pytest.sh
pystest.shs

$ ./pytest.sh tests t est_api.py::test_skip SKIPPED (no way of currently testing this) [ 50%] tests t est_api.py::test_api PASSED [100%] ---------- coverage: platform win32, python 3.11.7-final-0 ----------- Name Stmts Miss Cover Missing ---------------------------------------------------------------- config c onfig.py 8 4 50% 16-20, 33 config l og_config.py 32 1 97% 42 controller _ _init__.py 0 0 100% controller c luster_controller.py 14 0 100% injector.py 25 0 100% main.py 23 9 61% 38-57, 69 service _ _init__.py 0 0 100% service e s_search_handler.py 139 103 26% 32-88, 131-132, 139-155, 160-173, 178-191, 196-213, 219-254, 259-271, 276-287, 292-304, 309-315 service e s_util.py 21 16 24% 5-11, 16-19, 24-35, 40-41 service q uery_builder.py 42 27 36% 21-40, 48-51, 64-83, 89-98, 102-137 service s tatus_handler.py 13 2 85% 12, 19 tests _ _init__.py 0 0 100% tests c onftest.py 8 0 100% tests t est_api.py 9 1 89% 7 ---------------------------------------------------------------- TOTAL 334 163 51% $

CI/CD Ambient

• Circleci ( ./circleci/config.yml ): Circleci é uma plataforma contínua de integração e entrega contínua que ajuda as equipes de software a trabalhar mais inteligentes e mais rápidas. Com o CircLeci, todo compromisso começa um novo trabalho em nossa plataforma e o código é construído, testado e implantado.
• Ações do Github ( ./.github/workflows/build-and-test.yml ): as ações do GitHub são uma plataforma de integração contínua e entrega contínua (CI/CD) que permite automatizar seu pipeline de compilação, teste e implantação. Você pode criar fluxos de trabalho que criam e testam todas as solicitações de tração ao seu repositório ou implantam solicitações de tração mesclada para a produção.

Registrar serviço

• SUDO Service Vector_Interface_Api Status/Stop/Start/Restart

# -- /etc/systemd/system/vector_interface_api.service [Unit] Description=Swagger ES Service [Service] User=devuser Group=devuser Type=simple ExecStart=/bin/bash /home/devuser/Git_Repo/service-start.sh ExecStop= /usr/bin/killall vector_interface_api [Install] WantedBy=default.target # Service command sudo systemctl daemon-reload sudo systemctl start vector_interface_api.service sudo systemctl status vector_interface_api.service sudo systemctl stop vector_interface_api.service sudo service vector_interface_api status/stop/start