JSTOR Semantic Search

JSTOR SEMANTIC SEECK ‍♀

Полный поиск вектора стека, созданный для статей с открытым исходным кодом JSTOR - поиск по значению, а не ключевыми словами!

Бэкэнд, изготовленный с базой данных векторной векторной тона, HuggingFace/Transformers для встроений и API FASTAPI с двумя конечными точками для создания запросов с фильтрами метаданных или без них. Фронт, сделанный с React.js

Резюме проекта

Этот проект предназначен для использования с локальными наборами данных, созданными из официального партнера JSTOR CONTELLATE, в формате JSONL из полной опции загрузки данных.

В настоящее время названия и субтитры статей объединены и встроены, и семантическое сходство измеряется от запроса к этим встроенным названиям и субтитрам. Более подробная информация о статьях возвращается как часть метаданных.

Через API и веб -приложение Frontend можно пропустить желаемое количество результатов, а также могут быть переданы такие фильтры, как дата и количество страниц, в форме словаря фильтров с использованием языка запросов метаданных метаданных.

Через API словарь фильтров метаданных должен напрямую отражать формат словаря, который может быть передан в Pinecone, хотя веб -приложение будет обрабатывать добавление ключей, а пользователь может вводить только значения в форме.

Настройка и как использовать?

Настройка бэкэнд?

Python и установка зависимости?

Чтобы настроить Python и зависимости для запуска этого проекта:

• Если Python не установлен, установите его по этой ссылке.
• Клонировать этот репозиторий, затем перейдите к каталогу, в котором он находится, и в папку/бэкэнд.
• Настройте виртуальную среду, используя:
  $ python -m venv <evironment_name>
• Активировать виртуальную среду. Для Windows CMD это делается с использованием:
  $ <evironment_name>Scriptsactivate.bat
  Эта ссылка показывает, как это сделать для других операционных систем и типов оболочек.
• Установите зависимости, используя:
  $ pip install -r requirements.txt
• Один из файлов Python можно запустить с помощью:
  $ python <filename>.py

Настройка Pinecone?

• Создайте учетную запись Pinecone, если это необходимо, на их веб -сайте. Каждый пользователь может создавать один бесплатный индекс за раз, и вы можете удалить и переделать этот индекс столько раз, сколько захотите.
• Получите свой ключ и среду API со страницы «Ключи API»
• Сохраните их в файле, называемом .env в бэкэнд -папке, в следующем формате:

   PINECONE_API_KEY='<YOUR API KEY>'
  PINECONE_ENV='<YOUR ENVIRONMENT>'
  

Добавление данных?

Чтобы добавить данные в свой индекс Pinecone:

• Сначала загрузите набор данных или несколько наборов данных из Constellate. Существуют ограничения, сколько документов может быть в каждом наборе данных, но вы можете вытащить несколько.
• Извлеките свои данные и переместите их в каталог в рамках этого клонированного проекта, в идеале A /Data Polder в каталоге /Бэкэнд.
• Создайте экземпляр класса DBWRITER из файла db_writerr.py, обновляя список paths_to_data в конструкторе, чтобы соответствовать тому, где вы размещаете файлы данных, и обновляя index_name с именем вашего индекса Pinecone ('JStor-Semantic-Search' по умолчанию).
• Вызовите метод .run () нового экземпляра DBWriter.

Это должно внедрить и поднять все элементы в наборе данных в ваш индекс Pinecone. Обратите внимание, что это добавляет к текущему индексу, поэтому, если вы хотите, чтобы только новые данные находились внутри индекса, сначала вы должны удалить индекс, который можно сделать с помощью метода ._DELETE_INDEX () класса DBClient в этом репозитории.

Запуск API?

В папке /бэкэнд API может быть запущен любым:

• $ uvicorn main:app , которое не обновляет API с любыми изменениями разработки, но может быть легко отключено с помощью Ctrl + C в терминале
• $ uvicorn main:app --reload , которая обновит API с любыми изменениями разработки, но не будет отключаться с помощью Ctrl + C

API конечные точки

API имеет две конечные точки, одна для простого поиска запроса, и одна для поиска с Query Plus Metadata Filters. Тем не менее, способ обработки фильтров означает, что отфильтрованная конечная точка будет работать с пустым диктом и, следовательно, является единственной конечной точкой, вызванной веб -приложением.

GET /api/v1/query/{query_string}/{top_n}

Принимает два параметра пути: - Query_String (Тип данных: строка) - основной поисковый запрос, который должен быть семантически похож на результаты, которые хочет пользователь - top_n (Тип данных: Integer) - количество совпадений для возврата

POST /api/v1/filter-query/{query_string}/{top_n}

Принимает одинаковые два параметра пути: - Query_String (Тип данных: строка) - основной поисковый запрос, который должен быть семантически похож на результаты, которые хочет пользователь - top_n (тип данных: Integer) - количество совпадений для возврата

Плюс фильтр дикта в образе запроса, например:

{
    "document_type" : { "$eq" : " document " },
    "word_count" : { "$gte" : 2000 }
}

Обе конечные точки возвращают один и тот же тип ответа, с основными результатами в качестве массива в ключе «совпадений», например:

{
  "matches" : [
    {
      "id" : " 123-abc-321 " ,
      "score" : 18.792 ,
      "values" : [],
      "metadata" : {
        "categories" : [
          " Language & Literature " ,
          " Humanities "
        ],
        "creator" : [
          " A. Creator "
        ],
        "date_published" : " 2020/04/01 " ,
        "document_sub_type" : " " ,
        "document_type" : " document " ,
        "issue_number" : " 1 " ,
        "language" : [
          " eng "
        ],
        "page_count" : 10.0 ,
        "parent_publication" : " A publication " ,
        "publisher" : " A publisher " ,
        "sub_title" : " " ,
        "title" : " An example " ,
        "url" : " http://www.jstor.org/stable/1234 " ,
        "volume_number" : " 2123 " ,
        "word_count" : 123.0
      }
    }
  ],
  "namespace" : " "
}

Настройка фронта ⚛

После того, как бэкэнд настроен и работает API, вы сможете использовать веб -приложение для взаимодействия с API и более легко поиска. Чтобы сделать это:

• Перейдите к папке /Frontend в клонированном респо -ресторане (в отдельном терминале из того, что использует API)
• Запустить $ npm install для установки зависимостей
• Запустите $ npm start запускать веб -приложение локально
• Сайт должен открываться автоматически, и вы также можете перейти на http: // localhost: 3000/для его использования