Este es un proyecto Langchain con más de 1700 páginas de documentación raspadas de https://docs.unrealengine.com/5.1/en-us/
Los datos se raspan utilizando BeautifulSoup y se almacenan en la carpeta datascraping_cache . Si los datos ya están raspados, se cargará desde el caché en lugar de raspar nuevamente para ahorrar tiempo.
FAISS se usa como la tienda Vector para almacenar las embedidas de OpenAI. El índice FAISS se almacena en la carpeta data con la extensión .index . Si el índice ya está construido, se cargará desde el caché en lugar de construir nuevamente para ahorrar tiempo.
Para comenzar fresco (desguace y construyendo el índice nuevamente), elimine la carpeta data .
Todos los comandos se ejecutan desde la raíz del repositorio.
Clon este repositorio.
Ejecute pip install -r requirements.txt para instalar las dependencias.
Establezca la variable de entorno OPENAI_API_KEY en su tecla API OpenAI en su sistema.
Instale langchain-servidor y luego ejecute lc-serve deploy local main .
Visite http://localhost:8080/docs para interactuar con la API. (Asegúrese de proporcionar el OPENAI_API_KEY en la solicitud)