QA с LLM и тряпкой (получение добычного поколения)
Этот проект представляет собой приложение для ответа на вопрос с большими языковыми моделями (LLMS) и Amazon Opensearch Server Server Service. Приложение, использующее подход Rag (поиск дополненного генерации), предоставляет информацию, наиболее соответствующую запросу пользователя из базы знаний или контента предприятия, объединяет ее в качестве контекста вместе с запросом пользователя в качестве подсказки, а затем отправляет его в LLM, чтобы получить ответ Genai.
LLM имеют ограничения вокруг максимального количества слов для подсказки ввода, поэтому выбор правильных отрывков среди тысяч или миллионов документов на предприятии, оказывает прямое влияние на точность LLM.
В этом проекте Amazon Opensearch Serverless Service Service используется для базы знаний.
Общая архитектура такая:
Общий рабочий процесс
- Разверните стеки CDK (для получения дополнительной информации см. Здесь).
- Конечная точка SageMaker для генерации текста.
- Конечная точка SageMaker для генерации встраиваний.
- Amazon Opensearch Serverless для хранения встраиваний.
- Откройте jupyterlab в студии Sagemaker, а затем откройте новый терминал.
- Запустите следующие команды на терминале, чтобы клонировать репозиторий кода для этого проекта:
git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
- Откройте
data_ingestion_to_opensearch_serverless.ipynb Notebook и запустите его. (Для получения дополнительной информации см. Здесь) - Запустите приложение Streamlit. (Для получения дополнительной информации см. Здесь)
Ссылки
- Создайте мощный вопрос, отвечающий боту с Amazon Sagemaker, Amazon Opensearch Service, Streamlit и Langchain (2023-05-25)
- Используйте модели Propreatary Foundation от Amazon Sagemaker Jumpstart в Amazon Sagemaker Studio (2023-06-27)
- Строительными приложениями в Amazon Sagemaker Studio (2023-04-11)
- Быстро построить приложения с Генеративными ИИ с высокой точностью на предприятиях с использованием моделей Amazon Kendra, Langchain и крупных языков (2023-05-03)
- (GitHub) Amazon Kendra Reviver
- Ответ на вопрос с использованием получения добычи из поиска с моделями Foundation в Amazon Sagemaker Jumpstart (2023-05-02)
- Объединенные возможности векторной базы данных Amazon OpenSearch Service Service
- Langchain - основа для разработки приложений, основанных на языковых моделях.
- Streamlit - более быстрый способ создать и обмениваться приложениями данных
- Улучшение актуальности поиска с ML в Amazon Opensearch Service Workshop - Модуль 7. Поиск дополненного поколения
- Rag-with-Amazon-Kendra-Приложение для ответа на вопрос с большими языковыми моделями (LLMS) и Amazon Kendra
- Rag-with-Amazon-Postgresql-USING-PGVECTOR-Ответ на вопрос с большими языковыми моделями (LLMS) и Amazon Aurora Postgresql
- Rag-with-amazon-opensearch-приложение для ответа на вопрос с большими языковыми моделями (LLMS) и Amazon Opensearch Service с Langchain
- Rag-with-haystack и amazon-opensearch-Приложение для ответа на вопрос с большими языковыми моделями (LLMS) и Amazon Opensearch Service с Haystack
Безопасность
Смотрите Anploying для получения дополнительной информации.
Лицензия
Эта библиотека лицензирована по лицензии MIT-0. Смотрите файл лицензии.
