knowledge gpt
1.0.0
O KnowledgeGPT foi projetado para coletar informações de várias fontes, incluindo a Internet e os dados locais, que podem ser usados para criar prompts. Esses avisos podem ser utilizados pelo modelo GPT-3 do OpenAI para gerar respostas que são posteriormente armazenadas em um banco de dados para referência futura.
Para conseguir isso, o texto é transformado primeiro em um vetor de tamanho fixo usando modelos de código aberto ou openai. Quando uma consulta é enviada, o texto também é transformado em um vetor e comparado às incorporações de conhecimento armazenado. As informações mais relevantes são selecionadas e usadas para gerar um contexto rápido.
O KnowledgeGPT suporta várias fontes de informação, incluindo sites, PDFs, PowerPoint Files (PPTX) e documentos (documentos). Além disso, ele pode extrair texto das legendas do YouTube e do áudio (usando a tecnologia de fala para texto) e usá-lo como fonte de informação. Isso permite que uma gama diversificada de informações seja coletada e usada para gerar instruções e respostas.
Instalação do Pypi, Execute no Terminal: pip install knowledgegpt
Ou você pode usar a versão mais recente do repositório: pip install -r requirements.txt e depois pip install .
Download do Modelo de Idioma necessário para Parsing: python3 -m spacy download en_core_web_sm
uvicorn server:app --reload
# Import the library
from knowledgegpt . extractors . web_scrape_extractor import WebScrapeExtractor
# Import OpenAI and Set the API Key
import openai
from example_config import SECRET_KEY
openai . api_key = SECRET_KEY
# Define target website
url = "https://en.wikipedia.org/wiki/Bombard_(weapon)"
# Initialize the WebScrapeExtractor
scrape_website = WebScrapeExtractor ( url = url , embedding_extractor = "hf" , model_lang = "en" )
# Prompt the OpenAI Model
answer , prompt , messages = scrape_website . extract ( query = "What is a bombard?" , max_tokens = 300 , to_save = True , mongo_client = db )
# See the answer
print ( answer )
# Output: 'A bombard is a type of large cannon used during the 14th to 15th centuries.'Outros exemplos podem ser encontrados na pasta Exemplos. Mas, para dar uma idéia melhor de como usar a biblioteca, aqui está um exemplo simples:
# Basic Usage
basic_extractor = BaseExtractor ( df )
answer , prompt , messages = basic_extractor . extract ( "What is the title of this PDF?" , max_tokens = 300 ) # PDF Extraction
pdf_extractor = PDFExtractor ( pdf_file_path , extraction_type = "page" , embedding_extractor = "hf" , model_lang = "en" )
answer , prompt , messages = pdf_extractor . extract ( query , max_tokens = 1500 ) # PPTX Extraction
ppt_extractor = PowerpointExtractor ( file_path = ppt_file_path , embedding_extractor = "hf" , model_lang = "en" )
answer , prompt , messages = ppt_extractor . extract ( query , max_tokens = 500 ) # DOCX Extraction
docs_extractor = DocsExtractor ( file_path = "../example.docx" , embedding_extractor = "hf" , model_lang = "en" , is_turbo = False )
answer , prompt , messages =
docs_extractor . extract ( query = "What is an object detection system?" , max_tokens = 300 ) # Extraction from Youtube video (audio)
scrape_yt_audio = YoutubeAudioExtractor ( video_id = url , model_lang = 'tr' , embedding_extractor = 'hf' )
answer , prompt , messages = scrape_yt_audio . extract ( query = query , max_tokens = 1200 )
# Extraction from Youtube video (transcript)
scrape_yt_subs = YTSubsExtractor ( video_id = url , embedding_extractor = 'hf' , model_lang = 'en' )
answer , prompt , messages = scrape_yt_subs . extract ( query = query , max_tokens = 1200 )docker build -t knowledgegptimage .
docker run -p 8888:8888 knowledgegptimage(A ser estendido ...)
(Para ser atualizado com uma imagem melhor)
