nk vector
1.0.0
Basicamente, o NK-VEC é uma rede neural incorporada com idéias do Word2Vec e possui a mesma tarefa que todos os modelos incorporados do presente, mas possui uma estrutura muito mais simples. Através da biblioteca NK-Vector, você pode usar o modelo NK-VEC para criar o vetor definido de acordo com seus próprios dados da maneira mais simples. Além disso, o NK-Vector também fornece alguns recursos e algoritmos úteis usados para resolver problemas de PNL.
Eu o criei enquanto pesquisava um grande projeto na Sala de Informática da Escola Secundária Nguyen Khuyen (Da Nang), então NK foi a abreviação do nome da escola, essa marca que eu queria economizar e merece isso.
| Mandíbula | Parâmetro | Por exemplo | Observação |
|---|---|---|---|
| Create_one_hot | <FILE_URL, URL_SAVE> | "E: /project/data.txt", "e: /project/onehot.json" | Nisso, o padrão de filtrar o inglês e os caracteres especiais, exceto '_' |
| Create_window_words | <FILE_URL, Window_Size, URL_SAVE> | "E: /project/data.txt", 5, "e: /project/window.txt" | Nisso, o padrão de filtrar o stopword em inglês e caracteres especiais, exceto '_'. Window_size deve ser um número ímpar |
| trem | <size_output, url_data_one_hot, url_data_window_words, url_save> | 512, "e: /project/onehot.json", "e: /project/window.txt", "e: /project/data_vector.json" | Size_output é o número de dimensões do vetor de saída e deve ser menor que a primeira dimensão da entrada do vetor OneHot |
| Building_vec_sentences | <"doc", url_vecs_of_words, url_save> | "Olá, todos", "e: /project/data_vector.json", "" " | Se o URL_SAVE tiver um comprimento de zero, o padrão retornará o vetor sem salvar, se salvo, deixe o formato JSON - Exemplo: "E: /Project /data_sentence_vector" " |
| Search_word_similaridade | <"Target", url_vecs_of_word, size_result> | "King", "E: /project/data_vector.json", 15 | Size_result corresponde ao número de palavras com o mesmo mais alto ao baixo de ser devolvido " |
| Tesouraria | <"Target", type_distance, dados, k> | [7, 8], 'eculid', pontos, 4 | Veja exemplos de uso da função abaixo |
| Vn_segmentation_tag | <"Document"> | "Bem -vindo a mim" | Verifique se a versão do seu nó é uma versão completa do 10.16.0 ou mais |
| clear_sentence_vn | <"Document"> | "Bem -vindo a mim" | Aqui, sua frase vietnamita será filtrada de stopword vietnamita a personagens especiais |
| clear_sentence_en | <"Document"> | "Bem -vindo a mim" | Aqui, sua frase em inglês será filtrada de inglês para personagens especiais para personagens especiais |
| Remow_duplicate_words | <"Document"> | "Bem -vindo a mim" | Haverá palavras duplicadas na frase e é usada para inglês e vietnamita |
| fast_build_chatbot | <"Texto"> | "Como está o tempo hoje" | Aqui Bot retornará um dos rótulos: Química, General_asking, Math, Good_bye, Olá, Introdução, obrigado, Ask_weather, Desconhecido |
| sentimento_vn | <"Texto"> | "Hoje é tão sombrio" | Aqui retornará um dos rótulos: triste, feliz, frustrado, normal, desconhecido - como por exemplo, o retorno do resultado é uma string: triste " |
| FIX_TELEX | <"Texto"> | "ANH Thisch Awn Busn Char Cas" | Aqui retornará o resultado que foi telex - como por exemplo: eu gosto de comer pão de peixe |
| English_or_vietnamese | <"Texto"> | "Olá, hein, você?" | Ele retornará o resultado como um objeto, incluindo seu_Text, Label, Fix_Text Schools - como por exemplo {your_text: 'Olá, Hue você?', Label: 'English', Fix_Text: 'Olá, como você está?' |
| } |
- Instale o Node.js
- RUN: NPM I NK-VECOR
let NKV = require ( 'nk-vector' )Exemplo: use a função da mandíbula
let NKV = require ( 'nk-vector' )
let points = [
[ 1 , 2 ] ,
[ 3 , 4 ] ,
[ 5 , 6 ] ,
[ 7 , 8 ]
] ;
let nearest = NKV . knn ( [ 7 , 8 ] , 'eculid' , points , 4 ) ;
console . log ( nearest ) ;
/*Result:
[ [ [ 7, 8 ], 0 ],
[ [ 5, 6 ], 8 ],
[ [ 3, 4 ], 32 ],
[ [ 1, 2 ], 72 ] ]
Giải thích kết quả mảng trả về: [<vector trong tập dữ liệu>, <khoảng cách từ vector đầu vào tới vector này>]
*/Exemplo: Use a função Building_vec_sentências
let NKV = require ( 'nk-vector' )
let sentence = NKV . VN_segmentation_tag ( NKV . clear_sentence_vn ( 'cân bằng phương trình hóa học' ) )
let full_sentence = ''
for ( let word in sentence ) {
full_sentence += sentence [ word ] . replace ( ' ' , '_' ) + ' '
}
if ( full_sentence . length > 0 ) {
console . log ( full_sentence )
console . log ( NKV . build_vec_sentences ( full_sentence . trim ( ) , 'E:/<name_project>/data_vec.json' , '' ) )
}
/*Result:
{"cân_bằng phương_trình hóa học":[0.002338010428122218,...,0,0,0.00111962700489077,0.0009866701202071657,0.00111962700489077,0,0.00111962700489077,0,0,0.0009866701202071657,0,0.0010865777210490053,0,0.0010865777210490053,0,0,0,0,0,0.0009866701202071657,0,0,0,0,0,0,0.0010865777210490053,...0,0.0010865777210490053,...,0]}
*/Exemplo: use clear_sentence_vn
let NKV = require ( 'nk-vector' )
let clear_sentence = NKV . clear_sentence_vn ( "Chào mừng các bạn lên trên trời, ở đây là trên trời" )
console . log ( clear_sentence ) ;
//Result: chào mừng trời trờiVermelho : o erro não pode continuar
Amarelo : este é apenas um aviso normal, ainda em execução
Se você encontrar um erro que não encontrar o arquivo do arquivo de arquivo, encontre a linha de erro de acordo com o caminho no terminal e revise -o em:
- Path.Join (__ Dirke, "/src/stop_word.txt"): Deixe função clear_sentence_en
- Path.join (__ direto, "/src/stop_word_vnt_vn.txt"): para função clear_sentence_vn
Ou um caminho de filtro exatamente do seu jeitoEste erro é notificado para o usuário em um nível vermelho
Esse erro ocorre quando o vocabulário, os caracteres que compõem a frase no filtro de stopword e os caracteres especiais removem durante o processo de treinamento devem levar a nenhum vetor desses vocabulários, resultando na frase de carregamento estará vazia e sem construção.
Este erro é notificado para o usuário com nível amarelo
Obrigado por usar o NK-Vector, atualizarei novos algoritmos regularmente!
Obrigado, VNB por desenvolver o pacote sagrado VNTK
Pesquisa de código: https://code-search-vni.herokuapp.com/
Antes da chave de publicação do GPT-3 para todos, ainda posso criar um lugar para pesquisar Python na semântica do exemplo do GPT-3
