SanskritShala

Санскритшала: нейронный санскритский инструментарий NLP

Официальный код для статьи «Санскритшала: нейронный санскритский инструментарий NLP с веб-интерфейсом для педагогических и аннотационных целей». Если вы используете этот код, пожалуйста, укажите нашу статью.

Интернет-инструмент

Вы можете взаимодействовать с веб-платформой нашей веб-платформы Sanskritshala: Link . Мы призываем вас проверить наше демонстрационное видео, чтобы познакомиться с нашей платформой.

Нейронные модули санскритшалы для 4 задач NLP

Вы можете найти более подробную информацию о кодовых базах в папке Neural Modules для Word Segementaion, морфологического тега, задачи определения синтаксического анализа и идентификации типа составного типа.

Развернуть санскритшала на местной машине

Сначала вам нужно установить отдельные модули на вашем компьютере, как указано в вышеуказанном разделе. Вам не нужно иметь GPU в Oder, чтобы эти предварительно предварительно работали на вашей местной машине. Вы можете найти более подробную информацию о том, как развернуть инструментарий на локальной машине в папке SanShala-Web .

Evalsan: Оценка инструментария для санскритов

Saneval - это инструментарий для оценки качества санскритских внедрений. Мы оцениваем их силу обобщения, используя их в качестве функций в широком и разнообразном наборе задач. Мы включаем набор из 4 внутренних задач , которые оценивают то, что лингвистические свойства кодируются во вставках слова. Наша цель состоит в том, чтобы облегчить исследование и развитие представлений об общем назначении слов фиксированного размера для санскрита. Вы можете найти более подробную информацию о кодовых базах в папке EvalSan .

Оценки задач

Внутренние задачи

• Saneval включает серию внутренних задач, чтобы оценить, какие лингвистические свойства кодируются в вашем словом.
• Мы используем схему транслитерации SLP1 для наших данных. Вы можете изменить его на другую схему, используя этот код.

Задача	Показатель	#dev	#тест
Связанность	F-Score	4,5k	9K
Сходство	Точность	НА	3K
Категоризация синтаксика	Чистота	НА	1,1 тыс
Категоризация семантика	Чистота	НА	150
Синтаксическая аналогия	Точность	НА	10K
Аналогия семантика	Точность	НА	6,4k

Предварительно подготовленное слово встраиваемость

• Вы можете скачать предварительную модели по этой ссылке. README.md дается для каждой модели.
• Поместите папку models в родительский путь.
• Предварительные векторы могут быть загружены по этой ссылке. Поместите эту папку в EvalSan/evaluations/Intrinsic/ Path. Эти векторы используются в сценарии оценки.
• Наш предложенная предварительная подготовка LCM доступна в папке EvalSan/LCM . Для получения более подробной информации, пожалуйста, посетите эту ссылку.

Цитирование

Если вы используете наш инструмент, мы будем признателен, если вы сослаетесь на нашу статью:

 @misc{Sandhan_SanskritShala,
  doi = {10.48550/ARXIV.2302.09527},
  url = {https://arxiv.org/abs/2302.09527},
  author = {Sandhan, Jivnesh and Agarwal, Anshul and Behera, Laxmidhar and Sandhan, Tushar and Goyal, Pawan},
  keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {SanskritShala: A Neural Sanskrit NLP Toolkit with Web-Based Interface for Pedagogical and Annotation Purposes},
  publisher = {arXiv},
  year = {2023},
  copyright = {Creative Commons Attribution 4.0 International}
}

Лицензия

Этот проект лицензирован в соответствии с условиями Apache license 2.0 .

Благодарности

Мы хотели бы поблагодарить всех, кто помог нам сделать различные нейронные модели для санскритшалы.