thesis rag chatbot gemini

Tese de Masters Retreoned Generation Generation Chatbot

Autor: Muhammad Umareem

Conteúdo

• 1.1 Chave da API
• 1.2 Pré -processamento de dados
• 1.3 Modelo usado
• 1.4 loja de vetores
• 1.5 Modelo de prompt de Langchain
• 1.6 Cadeia de recreação
• 1.7 interface do usuário de consulta

1 geração aumentada baseada em Langchain

Foi feito um aplicativo RAG baseado em Langchain, que funciona usando o modelo de incorporação de vetor e o modelo do Google Gemini Pro LLM.

1.1 Chave da API

 export GOOGLE_API_KEY= " your api key "

1.2 Pré -processamento de dados

UnstructureExcelloader foi usado em Langchain.Document-carregadores, que é usado para carregar dados da planilha Excel em documentos.

1.3 Modelo usado

O modelo do Google Gemini Pro foi usado para obter a conclusão contextual do bate -papo.

 llm = ChatGoogleGenerativeAI ( model = "gemini-pro" , google_api_key = os . environ [ "GOOGLE_API_KEY" ])
embeddings = GoogleGenerativeAIEmbeddings ( model = "models/embedding-001" )

1.4 loja de vetores

A loja de vetores FAISS (Facebook AI similaridade) foi usada para criar e armazenar incorporações semânticas para os documentos carregados. O Vector Store pode ser consultado posteriormente com uma pesquisa de similaridade para obter informações mais relevantes.

 vectordb = FAISS . from_documents ( documents = docs , embedding = embeddings )

# save db as pickle file
with open ( "vectorstore.pkl" , "wb" ) as f :
pickle . dump ( vectordb , f )

#load db from pickle file
with open ( "vectorstore.pkl" , "rb" ) as f :
my_vector_database = pickle . load ( f )

# get 5 most relevant similar results
retriever = my_vector_database . as_retriever ( search_kwargs = { "k" : 5 })

1.5 Modelo de prompt de Langchain

O PromptTemplate foi usado da Langchain para criar instruções eficientes que mais tarde seriam transmitidas ao modelo. O prompt também contém variáveis ​​de entrada que indicam ao modelo que algumas informações serão transmitidas pelo usuário.

 template = """
You are a very helpful AI assistant.
You answer every question and apologize polietly if you dont know the answer.
The context contains information about a person,
title of their thesis,
the abstract of their thesis
and a link to their thesis.
Your task is to answer based on that information.
context: {context}
input: {input}
answer:
"""

prompt = PromptTemplate . from_template ( template )

1.6 Cadeia de recreação

A cadeia de retraca tem sido usada para passar documentos/incorporações ao modelo como contexto para a geração aumentada em volta.

 combine_docs_chain = create_stuff_documents_chain ( llm , prompt )
retrieval_chain = create_retrieval_chain ( retriever , combine_docs_chain )

1.7 interface do usuário de consulta