whatlang rs

ВАЖКАНГ

Обнаружение естественного языка для ржавчины с акцентом на простоту и производительность.

Попробуйте онлайн демо.

Содержание

• Функции
• Начните
• Кто использует Whatlang?
• Документация
• Поддерживаемые языки
• Функции переключаются
• Как это работает?
  • Как работает распознавание языка?
  • Как рассчитывается
• Запуск эталона
• Сравнение с альтернативами
• Порты и клоны
• Пожертвования
• Вывод
• Лицензия
• Участники

Функции

• Поддерживает 69 языков
• 100% написано в ржавчине
• Легкий, быстрый и простой
• Распознает не только язык, но и сценарий (латынь, кирилли и т. Д.)
• Предоставляет информацию о надежности

Начните

Пример:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

Для получения более подробной информации (например, как черный список некоторых языков), пожалуйста, проверьте документацию.

Кто использует Whatlang?

WhatLang используется в рамках следующих крупных проектов в качестве прямой или косвенной зависимости для распознавания языка. Ты будешь в отличной компании, используя Whatlang:

• Sonic - быстрый, легкий и без схемы поисковый бэкэнд в ржавчине.
• Meilisearch-с открытым исходным кодом, простой в использовании, яростно быстром и гипер-релевантной поисковой системе, встроенной в ржавчину.

Функции переключаются

Особенность	Описание
enum-map	Lang и Script Реализация Enum Trate от Enum-Map
arbitrary	Поддержка произвольной
serde	Реализует Serialize и Deserialize для Lang и Script
dev	Включает модуль whatlang::dev , который обеспечивает некоторый внутренний API. Он существует в целях профилирования, и обычным пользователям не нужно полагаться на этот API.

Как это работает?

Как работает распознавание языка?

Алгоритм основан на моделях языка триграмм, что является конкретным случаем N-граммов. Чтобы понять эту идею, пожалуйста, проверьте оригинальную категоризацию текста на основе n-грамма.

Как рассчитывается is_reliable ?

Он основан на следующих факторах:

• Сколько уникальных триграмм в данном тексте
• Насколько велика разница между первым и вторым (не возвращенным) обнаруженными языками? Этот показатель называется rate в базе кода.

Следовательно, он может быть представлен как 2D -пространство с пороговыми функциями, которые разматывают его в «надежные» и «не надежные» области. Эта функция является гиперболой, и она выглядит как следующая:

Для получения более подробной информации, пожалуйста, проверьте статью в блоге, введение в алгоритмы библиотеки Rust Watlang и естественного языка.

Делать задачи

• make bench - запустить тесты производительности
• make doc - генерировать и открыть документ
• make test - запустить тесты
• make watch - смотреть изменения и запустить тесты

Сравнение с альтернативами

	Whatlang	CLD2	CLD3
Язык реализации	Ржавчина	C ++	C ++
Языки	68	83	107
Алгоритм	Триграммы	квадроциклы	Нейронная сеть
Поддерживается кодирование	UTF-8	UTF-8	?
HTML -поддержка	нет	да	?

Порты и клоны

• Привязки Watchlang -ffi - c
• Whatlanggo - клон Whatlang для языка Go
• WhatLang -Py - привязки для Python
• Whatlang -rb - привязки для Ruby
• WhatLangex - привязки для эликсира

Пожертвования

Вы можете поддержать проект, пожертвовав рядом с жетонами.

Наш ближайший кошелек - whatlang.near

Вывод

Whatlang - это производная работа от Franc (JavaScript, MIT) Тита Уормера.

Лицензия

MIT © Sergey Potapov

Участники

• Greyblake Potapov Sergey - Создатель, Содействие.
• DR -Emann Zachary Dremann - Оптимизация и улучшения
• Baptistegelez Baptiste Gelez - Улучшения
• Вишеш Чопра - разработал логотип
• Джоэл Нативидад - поддержка тагальского языка
• Многократная - сумасшедшая оптимизация
• Kerollmops Clément Renault - сумасшедшая оптимизация