whatlanggo

Watchlanggo

Обнаружение естественного языка для GO.

Функции

• Поддерживает 84 языка
• 100% написано в ходе
• Нет внешних зависимостей
• Быстрый
• Распознает не только язык, но и сценарий (латынь, кирилли и т. Д.)

Начиная

Установка:

    go get -u github.com/abadojack/whatlanggo

Простой пример использования:

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	info := whatlanggo . Detect ( "Foje funkcias kaj foje ne funkcias" )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ], " Confidence: " , info . Confidence )
}

Черный список и белый список

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	//Blacklist
	options := whatlanggo. Options {
		Blacklist : map [whatlanggo. Lang ] bool {
			whatlanggo . Ydd : true ,
		},
	}

	info := whatlanggo . DetectWithOptions ( "האקדמיה ללשון העברית" , options )

	fmt . Println ( "Language:" , info . Lang . String (), "Script:" , whatlanggo . Scripts [ info . Script ])

	//Whitelist
	options1 := whatlanggo. Options {
		Whitelist : map [whatlanggo. Lang ] bool {
			whatlanggo . Epo : true ,
			whatlanggo . Ukr : true ,
		},
	}

	info = whatlanggo . DetectWithOptions ( "Mi ne scias" , options1 )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ])
}

Для получения более подробной информации, пожалуйста, проверьте документацию.

Требования

Идти на 1,8 или выше

Как это работает?

Как работает распознавание языка?

Алгоритм основан на моделях языка триграмм, что является конкретным случаем N-граммов. Чтобы понять эту идею, пожалуйста, проверьте оригинальную категоризацию текста на основе n-грамма.

Как рассчитывается встали ?

Он основан на следующих факторах:

• Сколько уникальных триграмм в данном тексте
• Насколько велика разница между первым и вторым (не возвращенным) обнаруженными языками? Этот показатель называется rate в базе кода.

Следовательно, он может быть представлен как 2D -пространство с пороговыми функциями, которые разматывают его в «надежные» и «не надежные» области. Эта функция является гиперболой, и она выглядит как следующая:

Для получения более подробной информации, пожалуйста, проверьте статью в блоге, введение в алгоритмы библиотеки Rust Watlang и естественного языка.

Лицензия

Грань

Вывод

Whatlanggo - это производная франка (JavaScript, MIT) Титуса Уормера.

Благодарности

Благодаря Greyblake (Potapov Sergey) за создание Whatlang-RS, откуда я понял идею и алгоритмы.