detecting fake text

GLTR: тестовая комната для модели гигантского языка

Обнаружение текста, который был получен из моделей крупных языков (например, GPT-2).

Веб -страница: http://gltr.io
Online-Demo: http://gltr.io/dist/index.html
Бумага: https://arxiv.org/abs/1906.04043

Проект Хендрика Стробелта, Себастьяна Германна, Александра М. Раша.

Сотрудничество MIT-IBM Watson AI Lab и Harvardnlp

QuickStart

Установите зависимости для Python> 3.6:

pip install -r requirements.txt

Запустите сервер для gpt-2-small :

python server.py

Демо -экземпляр работает сейчас по адресу http: // localhost: 5001/client/index.html

Запустите сервер BERT

запустить сервер для BERT :

python server.py --model BERT

Экземпляр теперь работает по адресу http: // localhost: 5001/client/index.html? Nodemo. Подсказка: мы предоставляем только демонстрационные тексты для gpt2-small .

Параметры Server.py

 usage: server.py [-h] [--model MODEL] [--nodebug NODEBUG] [--address ADDRESS]
                 [--port PORT] [--nocache NOCACHE] [--dir DIR] [--no_cors]

optional arguments:
  -h, --help         show this help message and exit
  --model MODEL		 choose either 'gpt-2-small' (default) or 'BERT' or your own
  --nodebug NODEBUG  server in non-debugging mode
  --port PORT	     port to launch UI and API (default:5001)
  --no_cors          launch API without CORS support (default: False)

Расширить бэкэнд

Бэкэнд определяет ряд модельных API, которые можно вызвать сервером, запустив его с имени параметров --model NAME . Чтобы добавить пользовательскую модель, вам нужно написать свой собственный API в backend/api.py и добавить декоратор @register_api(name=NAME) .

Каждый API должен быть классом, который наследует от AbstractLanguageChecker , который определяет две функции check_probabilities и postprocess . Пожалуйста, следуйте документации в api.py при реализации класса и функций.

Расширить фронт

Исходной код для фронта-в client/src .

Для изменения необходима установка зависимостей узлов:

 cd client/src ; npm install ; cd ../..

Повторное количество фронт-энда:

 > rm -rf client/dist ; cd client/src/ ; npm run build ; cd ../..

Лицензия

Apache 2

(c) 2019 Хендрик Стробелт, Себастьян Германн, Александр М. Раш