knowledge gpt
1.0.0
MangeGPT предназначен для сбора информации из различных источников, включая Интернет и локальные данные, которые можно использовать для создания подсказок. Эти подсказки могут затем использоваться моделью GPT-3 от OpenAI для генерации ответов, которые впоследствии хранятся в базе данных для будущей ссылки.
Для этого текст сначала преобразуется в вектор с фиксированным размером с использованием моделей с открытым исходным кодом или OpenAI. Когда запрос представлен, текст также трансформируется в вектор и сравнивается с хранящимися встроенными знаниями. Наиболее актуальная информация затем выбирается и используется для генерации быстрого контекста.
Знания GGPT поддерживает различные источники информации, включая веб -сайты, PDFS, файлы PowerPoint (PPTX) и документы (DOCS). Кроме того, он может извлечь текст из субтитрах YouTube и аудио (с использованием технологии речи в тексте) и использовать его в качестве источника информации. Это позволяет собирать и использовать разнообразный диапазон информации для получения подсказок и ответов.
Установка PYPI, запустите в терминале: pip install knowledgegpt
Или вы можете использовать последнюю версию из репозитория: pip install -r requirements.txt , а затем pip install .
Загрузить необходимую языковую модель для анализа: python3 -m spacy download en_core_web_sm
uvicorn server:app --reload
# Import the library
from knowledgegpt . extractors . web_scrape_extractor import WebScrapeExtractor
# Import OpenAI and Set the API Key
import openai
from example_config import SECRET_KEY
openai . api_key = SECRET_KEY
# Define target website
url = "https://en.wikipedia.org/wiki/Bombard_(weapon)"
# Initialize the WebScrapeExtractor
scrape_website = WebScrapeExtractor ( url = url , embedding_extractor = "hf" , model_lang = "en" )
# Prompt the OpenAI Model
answer , prompt , messages = scrape_website . extract ( query = "What is a bombard?" , max_tokens = 300 , to_save = True , mongo_client = db )
# See the answer
print ( answer )
# Output: 'A bombard is a type of large cannon used during the 14th to 15th centuries.'Другие примеры можно найти в папке примеров. Но чтобы дать лучшее представление о том, как использовать библиотеку, вот простой пример:
# Basic Usage
basic_extractor = BaseExtractor ( df )
answer , prompt , messages = basic_extractor . extract ( "What is the title of this PDF?" , max_tokens = 300 ) # PDF Extraction
pdf_extractor = PDFExtractor ( pdf_file_path , extraction_type = "page" , embedding_extractor = "hf" , model_lang = "en" )
answer , prompt , messages = pdf_extractor . extract ( query , max_tokens = 1500 ) # PPTX Extraction
ppt_extractor = PowerpointExtractor ( file_path = ppt_file_path , embedding_extractor = "hf" , model_lang = "en" )
answer , prompt , messages = ppt_extractor . extract ( query , max_tokens = 500 ) # DOCX Extraction
docs_extractor = DocsExtractor ( file_path = "../example.docx" , embedding_extractor = "hf" , model_lang = "en" , is_turbo = False )
answer , prompt , messages =
docs_extractor . extract ( query = "What is an object detection system?" , max_tokens = 300 ) # Extraction from Youtube video (audio)
scrape_yt_audio = YoutubeAudioExtractor ( video_id = url , model_lang = 'tr' , embedding_extractor = 'hf' )
answer , prompt , messages = scrape_yt_audio . extract ( query = query , max_tokens = 1200 )
# Extraction from Youtube video (transcript)
scrape_yt_subs = YTSubsExtractor ( video_id = url , embedding_extractor = 'hf' , model_lang = 'en' )
answer , prompt , messages = scrape_yt_subs . extract ( query = query , max_tokens = 1200 )docker build -t knowledgegptimage .
docker run -p 8888:8888 knowledgegptimage(Чтобы быть расширенным ...)
(Чтобы быть обновленным с лучшим изображением)
