knowledge gpt

Pengetahuan

KnowledgeGpt dirancang untuk mengumpulkan informasi dari berbagai sumber, termasuk data internet dan lokal, yang dapat digunakan untuk membuat petunjuk. Prompt ini kemudian dapat digunakan oleh model GPT-3 Openai untuk menghasilkan jawaban yang kemudian disimpan dalam database untuk referensi di masa mendatang.

Untuk mencapai hal ini, teks pertama kali diubah menjadi vektor ukuran tetap menggunakan model open source atau openai. Ketika kueri diajukan, teks juga diubah menjadi vektor dan dibandingkan dengan embeddings pengetahuan yang tersimpan. Informasi yang paling relevan kemudian dipilih dan digunakan untuk menghasilkan konteks yang cepat.

KnowledgeGPT mendukung berbagai sumber informasi termasuk situs web, PDF, File PowerPoint (PPTX), dan Dokumen (DOCM). Selain itu, ia dapat mengekstraksi teks dari subtitle dan audio YouTube (menggunakan teknologi ucapan-ke-teks) dan menggunakannya sebagai sumber informasi. Hal ini memungkinkan beragam informasi yang dikumpulkan dan digunakan untuk menghasilkan petunjuk dan jawaban.

Tautan PYPI: https://pypi.org/project/knowledgegpt/

Instalasi

1. Instalasi PYPI, Jalankan di Terminal: pip install knowledgegpt

2. Atau Anda dapat menggunakan versi terbaru dari repositori: pip install -r requirements.txt dan kemudian pip install .

3. Unduh Model Bahasa yang Diperlukan untuk Parsing: python3 -m spacy download en_core_web_sm

Cara menggunakan

API yang tenang

uvicorn server:app --reload

Atur kunci API Anda

1. Pergi ke Openai> Akun> Kunci API
2. Buat tombol screet baru dan salin
3. Masukkan kunci ke example_config.py

Cara menggunakan perpustakaan

 # Import the library
from knowledgegpt . extractors . web_scrape_extractor import WebScrapeExtractor

# Import OpenAI and Set the API Key
import openai
from example_config import SECRET_KEY 
openai . api_key = SECRET_KEY

# Define target website
url = "https://en.wikipedia.org/wiki/Bombard_(weapon)"

# Initialize the WebScrapeExtractor
scrape_website = WebScrapeExtractor ( url = url , embedding_extractor = "hf" , model_lang = "en" )

# Prompt the OpenAI Model
answer , prompt , messages = scrape_website . extract ( query = "What is a bombard?" , max_tokens = 300 ,  to_save = True , mongo_client = db )

# See the answer
print ( answer )

# Output: 'A bombard is a type of large cannon used during the 14th to 15th centuries.'

Contoh lain dapat ditemukan di folder contoh. Tetapi untuk memberikan ide yang lebih baik tentang cara menggunakan perpustakaan, berikut adalah contoh sederhana:

 # Basic Usage
basic_extractor = BaseExtractor ( df )
answer , prompt , messages = basic_extractor . extract ( "What is the title of this PDF?" , max_tokens = 300 )

 # PDF Extraction
pdf_extractor = PDFExtractor ( pdf_file_path , extraction_type = "page" , embedding_extractor = "hf" , model_lang = "en" )
answer , prompt , messages = pdf_extractor . extract ( query , max_tokens = 1500 )

 # PPTX Extraction
ppt_extractor = PowerpointExtractor ( file_path = ppt_file_path , embedding_extractor = "hf" , model_lang = "en" )
answer , prompt , messages = ppt_extractor . extract ( query , max_tokens = 500 )

 # DOCX Extraction
docs_extractor = DocsExtractor ( file_path = "../example.docx" , embedding_extractor = "hf" , model_lang = "en" , is_turbo = False )
answer , prompt , messages = 
    docs_extractor . extract ( query = "What is an object detection system?" , max_tokens = 300 )

 # Extraction from Youtube video (audio)
scrape_yt_audio = YoutubeAudioExtractor ( video_id = url , model_lang = 'tr' , embedding_extractor = 'hf' )
answer , prompt , messages = scrape_yt_audio . extract ( query = query , max_tokens = 1200 )

# Extraction from Youtube video (transcript)
scrape_yt_subs = YTSubsExtractor ( video_id = url , embedding_extractor = 'hf' , model_lang = 'en' )
answer , prompt , messages = scrape_yt_subs . extract ( query = query , max_tokens = 1200 )

Penggunaan Docker

docker build -t knowledgegptimage .
docker run -p 8888:8888 knowledgegptimage

Bagaimana berkontribusi

0. Buka masalah
1. Garpu repo
2. Buat Cabang Baru
3. Membuat perubahan Anda
4. Buat Permintaan Tarik

FITUR

• Mengekstrak pengetahuan dari internet (yaitu wikipedia)
• Ekstrak Pengetahuan dari Sumber Data Lokal - PDF
• Ekstrak Pengetahuan dari Sumber Data Lokal - DOCX
• Ekstrak Pengetahuan dari Sumber Data Lokal - PPTX
• Ekstrak Pengetahuan dari YouTube Audio (saat Caption tidak tersedia)
• Ekstrak pengetahuan dari transkrip YouTube
• Ekstrak pengetahuan dari seluruh daftar putar YouTube

Todo

• Dukungan FAISS
• Tambahkan database vektor (Pinecone, Milvus, Qdrant dll.)
• Tambahkan model Whisper
• Tambahkan Dukungan Lokal Whisper (bukan Overai API)
• Tambahkan Whisper untuk audio lebih dari 25MB
• Tambahkan Antarmuka Web
• Bermigrasi untuk memicu pembuatan cepat
• Tambahkan dukungan chatgpt
• Tambahkan dukungan chatgpt dengan infrastruktur dan perencanaan yang lebih baik
• Tingkatkan jumlah petunjuk
• Tingkatkan jumlah sumber pengetahuan yang didukung
• Tingkatkan jumlah bahasa yang didukung
• Tingkatkan jumlah model open source
• Menggosok web canggih
• Penyimpanan jawaban prompt (kemungkinan ini akan dilakukan dalam proyek terpisah)
• Tambahkan dokumentasi yang lebih baik
• Tambahkan sistem logging yang lebih baik
• Tambahkan sistem penanganan kesalahan yang lebih baik
• Tambahkan sistem pengujian yang lebih baik
• Tambahkan sistem CI/CD yang lebih baik
• Dockerize proyek
• Tambahkan dukungan mesin pencari, seperti Google, Bing, dll.
• Tambahkan Dukungan untuk OpenSource OpenAI Alternatif (untuk pembuatan jawaban)
• Mengevaluasi dependensi dan menghilangkan yang tidak perlu
• Memberikan fleksibilitas cepat untuk digunakan dengan model apa pun

(Untuk diperpanjang ...)

Arsitektur Sistem

(Untuk diperbarui dengan gambar yang lebih baik)