llama index RAG

Aplicación de trapo de índice de llamas

Una implementación de trapo en el índice de LLAMA utilizando QDRANT como almacenamiento. Tome algunos PDF (puede usar los PDF de prueba incluyen In /Data o Eliminar y usar sus propios documentos), indexar /incrustarlos en un VDB, usar LLM para inferir y generar salida. Bastante ingenioso.

Cómo usar

• Crear ruta local y subcarpeta de datos
• Crear env virtual usando conda, env o docker
• Escriba pip install -r /path/to/requirements.txt en el indicador CMD
• Active Ollama en terminal con ollama run mistral o cualquier modelo que elija. Si está utilizando el nuevo Ollama para Windows, entonces no es necesario ya que se ejecuta en segundo plano (asegúrese de que esté activo).
• Abra Llama_index_rag.py y actualice las líneas 42 y 43 con su modelo de elección
• Guardar y ejecutar el script
• Observe resultados similares a: