nk vector

Présentation du vecteur NK!

La raison de la naissance

Fondamentalement, NK-VEC est un réseau neuronal incorporant des idées de Word2Vec et a la même tâche que tous les modèles intégrés du présent, mais il a une structure beaucoup plus simple. Grâce à la bibliothèque NK-Vector, vous pouvez utiliser le modèle NK-VEC pour construire l'ensemble de vecteur en fonction de vos propres données de la manière la plus simple. De plus, NK-Vector vous fournit également des fonctionnalités et des algorithmes utiles utilisés pour résoudre les problèmes de PNL.

À propos du nom

Je l'ai créé lors de la recherche d'un grand projet à la salle d'informatique de l'école secondaire Nguyen Khuyen (Da Nang), donc NK était l'abréviation du nom de l'école, cette empreinte que je voulais sauver et elle le mérite.

Caractéristiques actuelles

• Créer un vecteur chaud
• Créer des mots Windows
• Permet aux utilisateurs de créer un ensemble de vecteur en fonction de leur propre ensemble de données
• Trouvez le même mot
• Fast Knn (Treasure Treasury Tree)
• Construisez le vetor pour les phrases, les paragraphes, le texte
• Séparation des vietnamiens et de l'anglais
• Phrases propres pour le vietnamien et l'anglais
• Supprimer les mots répéter

Fonctions et paramètres

Mâchoire	Paramètre	Par exemple	Note
Create_one_hot	<file_url, url_save>	"E: /project/data.txt", "e: /project/onehot.json"	Dans ce cas, le filtrage de l'anglais et des caractères spéciaux sauf '_'
Create_window_words	<file_url, window_size, url_save>	"E: /project/data.txt", 5, "e: /project/window.txt"	Dans ce cas, il y aura par défaut le mot-étape anglais et les caractères spéciaux, sauf «_». Window_size doit être un nombre impair
former	<size_output, url_data_one_hot, url_data_window_words, url_save>	512, "e: /project/onehot.json", "e: /project/window.txt", "e: /project/data_vector.json"	Size_output est le nombre de dimensions de vecteur de sortie et il doit être plus petit que la première dimension de l'entrée vectorielle OneHot
Building_Vec_Sentences	<"doc", url_vecs_of_words, url_save>	"Bonjour à tous", "e: /project/data_vector.json", "" "	Si URL_SAVE a une longueur de zéro, la valeur par défaut renvoie le vecteur sans enregistrer, s'il est enregistré, laissez le format JSON - Exemple: "E: /project/Data_Sentence_Vector.json"
search_word_similarité	<"Target", url_vecs_of_word, size_result>	"King", "e: /project/data_vector.json", 15	Size_result correspond au nombre de mots avec le même plus élevé à bas pour être retourné "
Trésorerie	<"Target", type_distance, données, k>	[7, 8], «Eculid», points, 4	Voir des exemples d'utilisation de la fonction ci-dessous
Vn_segmentation_tag	<"document">	"Bienvenue à moi"	Assurez-vous que votre version de nœud est une version complète de 10.16.0 ou plus
clear_sence_vn	<"document">	"Bienvenue à moi"	Ici, votre phrase vietnamienne sera filtrée des mots arrêtés vietnamiens à des caractères spéciaux
clear_sence_en	<"document">	"Bienvenue à moi"	Ici, votre phrase en anglais sera filtrée de l'anglais des mots arrêtés aux caractères spéciaux
Supprimer_duplicate_words	<"document">	"Bienvenue à moi"	Il y aura des mots dupliqués dans la phrase et il est utilisé pour l'anglais et le vietnamien
fast_build_chatbot	<"Texte">	"Quel temps fait-il aujourd'hui"	Ici Bot renverra l'une des étiquettes: Chemistry, General_asking, Math, Good_Bye, Hello, Introduction, merci, Ask_weather, inconnu
Sentiment_vn	<"Texte">	"Aujourd'hui est si sombre"	Ici, vous renverra l'une des étiquettes: triste, heureuse, frustrée, normale, inconnue - comme par exemple, le rendement du résultat est une chaîne: triste "
FIX_TELEX	<"Texte">	"Anh thatch awn busn char cas"	Ici, je retournera le résultat qui a été télex - comme par exemple: j'aime manger un pain de poisson
Anglais_or_vietnamien	<"Texte">	"Bonjour, hein, toi?"	Il renverra le résultat en tant qu'objet comprenant les écoles de votre_text, étiquette, fixe_text - comme par exemple {your_text: "Bonjour, teinte?
}

Paramètre

1. Installer Node.js
2. Run: NPM I NK-Vector

Utiliser

 let  NKV = require ( 'nk-vector' )

Exemple: utilisez la fonction de mâchoire

 let  NKV = require ( 'nk-vector' )
let  points = [
[ 1 , 2 ] ,
[ 3 , 4 ] ,
[ 5 , 6 ] ,
[ 7 , 8 ]
] ;
let  nearest = NKV . knn ( [ 7 , 8 ] , 'eculid' , points , 4 ) ;
console . log ( nearest ) ;
/*Result:
[ [ [ 7, 8 ], 0 ],
  [ [ 5, 6 ], 8 ],
  [ [ 3, 4 ], 32 ],
  [ [ 1, 2 ], 72 ] ]
Giải thích kết quả mảng trả về: [<vector trong tập dữ liệu>, <khoảng cách từ vector đầu vào tới vector này>]
*/

Exemple: utilisez la fonction Building_Vec_Sentences

 let NKV = require ( 'nk-vector' )
let sentence = NKV . VN_segmentation_tag ( NKV . clear_sentence_vn ( 'cân bằng phương trình hóa học' ) )
let full_sentence = ''
for ( let word in sentence ) {
    full_sentence += sentence [ word ] . replace ( ' ' , '_' ) + ' '
}
if ( full_sentence . length > 0 ) {
    console . log ( full_sentence )
    console . log ( NKV . build_vec_sentences ( full_sentence . trim ( ) , 'E:/<name_project>/data_vec.json' , '' ) )
}
/*Result: 
{"cân_bằng phương_trình hóa học":[0.002338010428122218,...,0,0,0.00111962700489077,0.0009866701202071657,0.00111962700489077,0,0.00111962700489077,0,0,0.0009866701202071657,0,0.0010865777210490053,0,0.0010865777210490053,0,0,0,0,0,0.0009866701202071657,0,0,0,0,0,0,0.0010865777210490053,...0,0.0010865777210490053,...,0]}
*/

Exemple: utilisez clear_sence_vn

 let  NKV = require ( 'nk-vector' )
let clear_sentence = NKV . clear_sentence_vn ( "Chào mừng các bạn lên trên trời, ở đây là trên trời" )
console . log ( clear_sentence ) ;
//Result: chào mừng trời trời

Remarquez la couleur dans le terminal

Rouge : l'erreur ne peut pas continuer

Jaune : Ce n'est qu'un préavis normal, toujours en cours d'exécution

Quelques erreurs que vous pouvez rencontrer

L'erreur ne trouve pas le mot d'arrêt de fichier à la fois des vietnamiens et de l'anglais

Si vous rencontrez une erreur qui ne trouve pas le fichier du fichier Word, trouvez la ligne d'erreur en fonction du chemin du terminal et révisez-le dans:

1. Path.join (__ dirke, "/src/stop_word.txt"): Laissez la fonction clear_sentence_en
2. Path.join (__ directement, "/src/stop_word_vnt_vn.txt"): pour la fonction clear_sence_vn
   Ou un chemin de filtre exactement à votre façon

Cette erreur est informée à l'utilisateur à un niveau rouge

L'erreur ne construit pas de vecteur pour les phrases

Cette erreur se produit lorsque le vocabulaire, les caractères qui composent la phrase dans le filtre de mot de bouchage et les caractères spéciaux suppriment pendant le processus de formation ne devraient conduire à aucun vecteur de ce vocabulaire, ce qui entraînera la phrase de chargement sera vide et aucune construction.

Cette erreur est informée à l'utilisateur avec un niveau jaune

Merci

Merci d'utiliser NK-Vector, je mettrai à jour régulièrement de nouveaux algorithmes!
Merci, VNB d'avoir développé le package saint VNTK

Le produit a appliqué

Recherche de code: https://code-search-vni.herokuapp.com/
Avant la clé de publication GPT-3 pour tout le monde, je peux toujours créer un endroit pour rechercher Python dans la sémantique de l'exemple de GPT-3