nk vector

Einführung von NK-Vektor!

Der Grund für die Geburt

Grundsätzlich ist NK-VEC ein neuronales Netzwerk mit Ideen von Word2VEC und hat die gleiche Aufgabe wie alle eingebetteten Modelle aus der Gegenwart, hat jedoch eine viel einfachere Struktur. Über die NK-Vektor-Bibliothek können Sie das NK-VEC-Modell verwenden, um den Vektor-Satz auf einfachste Weise nach Ihren eigenen Daten zu erstellen. Darüber hinaus bietet Ihnen NK-Vektor einige nützliche Funktionen und Algorithmen zur Lösung von NLP-Problemen.

Über den Namen

Ich habe es geschaffen, als ich ein großes Projekt im Informatikraum der Nguyen Khuyen Secondary School (Da Nang) untersuchte. NK war also die Abkürzung des Schulnamens, dieser Abdruck, den ich retten wollte, und es verdient das.

Aktuelle Funktionen

• Erstellen Sie einen heißen Vektor
• Erstellen Sie Windows -Wörter
• Ermöglicht Benutzern, den Vektorsatz nach ihrem eigenen Datensatz zu erstellen
• Finden Sie das gleiche Wort
• Schnelles Knn (Schatztreasurbaum)
• Bauen Sie den Vetor für Sätze, Absätze, Text auf
• Trennung von Vietnamesen und Englisch
• Saubere Sätze für Vietnamesisch und Englisch
• Wörter löschen wiederholen

Funktionen und Parameter

Kiefer	Parameter	Zum Beispiel	Notiz
Create_one_hot	<File_url, url_save>	"E: /project/data.txt", "e: /project/onehot.json"	In diesem Fall wird standardmäßig Englisch- und Sonderzeichen mit Ausnahme von '_' filtern
Create_window_words	<File_url, window_size, url_save>	"E: /project/data.txt", 5, "e: /project/window.txt"	In diesem Fall filtern Sie standardmäßig Stopword -Englisch und Sonderzeichen außer '_'. Window_size muss eine ungerade Nummer sein
Zug	<size_output, url_data_one_hot, url_data_window_words, url_save>	512, "e: /project/onehot.json", "e: /project/window.txt", "e: /project/data_vector.json"	Size_output ist die Anzahl der Ausgangsvektorabmessungen und muss kleiner sein als die erste Dimension des OneHot -Vektoreingangs
bauen_vec_sences	<"doc", url_vecs_of_words, url_save>	"Hallo allerseits", "e: /project/data_vector.json", "" "	Wenn URL_SAVE eine Länge von Null hat, gibt die Standardeinstellung den Vektor ohne Speichern zurück, falls gespeichert, das JSON -Format - Beispiel: "E: /project/data_Sentce_Vector.json"
Search_word_similarity	<"Ziel", url_vecs_of_word, size_result>	"King", "e: /project/data_vector.json", 15	Size_result entspricht der Anzahl der Wörter mit dem gleichen höchsten bis niedrigen, der zurückgegeben wird. "
Schatzkammer	<"Ziel", type_distance, data, k>	[7, 8], 'eculid', Punkte, 4	Siehe Beispiele für die Verwendung der Funktion unten
Vn_segmentation_tag	<"document">	"Willkommen bei mir"	Stellen Sie sicher, dass Ihre Knotenversion eine Vollversion von 10.16.0 oder mehr ist
Clear_Sentce_Vn	<"document">	"Willkommen bei mir"	Hier wird Ihr vietnamesischer Satz von Stopword -Vietnamesisch zu Sonderzeichen gefiltert
Clear_Sentce_en	<"document">	"Willkommen bei mir"	Hier wird Ihr englischer Satz von Stopword -Englisch zu Sonderzeichen gefiltert
REMED_DUPLICE_WORTS	<"document">	"Willkommen bei mir"	Der Satz werden doppelte Wörter sein, die sowohl für Englisch als auch für Vietnamesisch verwendet werden
fast_build_chatbot	<"Text">	"Wie ist das Wetter heute"	Hier wird Bot eines der Etiketten zurückgeben: Chemie, General_asking, Mathematik, Good_Bye, Hallo, Einführung, Danke, Ask_Weather, Unbekannt
Sentiment_vn	<"Text">	"Heute ist so düster"	Hier wird eines der Labels zurückgeben: traurig, glücklich, frustriert, normal, unbekannt - wie zum Beispiel ist die Ergebnisrendite eine Zeichenfolge: SAD: "
FIX_TELEX	<"Text">	"ANH THEICH AWN BUSN CHAR CAS"	Hier erwidern Sie das Ergebnis, das Telex war - wie zum Beispiel: Ich esse gerne Fischbrötchen
Englisch_or_vietnamese	<"Text">	"Hallo, huh, du?"	Es wird das Ergebnis als Objekt einschließlich Your_text, Etikett, Fix_text -Schulen zurückgeben - wie zum Beispiel {your_text: 'Hallo, hue du?', Label: 'English', Fix_text: 'Hallo, wie geht es dir?'
}

Einstellung

1. Installieren Sie node.js
2. Run: NPM I NK-Vektor

Verwenden

 let  NKV = require ( 'nk-vector' )

Beispiel: Verwenden Sie die Kieferfunktion

 let  NKV = require ( 'nk-vector' )
let  points = [
[ 1 , 2 ] ,
[ 3 , 4 ] ,
[ 5 , 6 ] ,
[ 7 , 8 ]
] ;
let  nearest = NKV . knn ( [ 7 , 8 ] , 'eculid' , points , 4 ) ;
console . log ( nearest ) ;
/*Result:
[ [ [ 7, 8 ], 0 ],
  [ [ 5, 6 ], 8 ],
  [ [ 3, 4 ], 32 ],
  [ [ 1, 2 ], 72 ] ]
Giải thích kết quả mảng trả về: [<vector trong tập dữ liệu>, <khoảng cách từ vector đầu vào tới vector này>]
*/

Beispiel: Verwenden Sie die Funktion Building_VEC_SENTENCES

 let NKV = require ( 'nk-vector' )
let sentence = NKV . VN_segmentation_tag ( NKV . clear_sentence_vn ( 'cân bằng phương trình hóa học' ) )
let full_sentence = ''
for ( let word in sentence ) {
    full_sentence += sentence [ word ] . replace ( ' ' , '_' ) + ' '
}
if ( full_sentence . length > 0 ) {
    console . log ( full_sentence )
    console . log ( NKV . build_vec_sentences ( full_sentence . trim ( ) , 'E:/<name_project>/data_vec.json' , '' ) )
}
/*Result: 
{"cân_bằng phương_trình hóa học":[0.002338010428122218,...,0,0,0.00111962700489077,0.0009866701202071657,0.00111962700489077,0,0.00111962700489077,0,0,0.0009866701202071657,0,0.0010865777210490053,0,0.0010865777210490053,0,0,0,0,0,0.0009866701202071657,0,0,0,0,0,0,0.0010865777210490053,...0,0.0010865777210490053,...,0]}
*/

Beispiel: Verwenden Sie Clear_Sentce_VN

 let  NKV = require ( 'nk-vector' )
let clear_sentence = NKV . clear_sentence_vn ( "Chào mừng các bạn lên trên trời, ở đây là trên trời" )
console . log ( clear_sentence ) ;
//Result: chào mừng trời trời

Beachten Sie die Farbe im Terminal

Rot : Der Fehler kann nicht fortgesetzt werden

Gelb : Dies ist nur ein normaler Bescheid, der immer noch läuft

Einige Fehler, die Sie möglicherweise treffen

Fehler findet kein Datei -Stopp -Wort von Vietnamesisch und Englisch

Wenn Sie auf einen Fehler stoßen, der die Datei -Word -Datei nicht ermittelt, finden Sie die Fehlerzeile entsprechend dem Pfad im Terminal und überarbeiten Sie sie in:

1. Path.Join (__ Dirke, "/src/stop_word.txt"): Let Function clear_sentce_en
2. Path.Join (__ Direct, "/src/stop_word_vnt_vn.txt"): für Funktion clear_sence_vn
   Oder ein Filterpfad genau auf Ihre Weise

Dieser Fehler wird dem Benutzer auf roter Ebene mitgeteilt

Der Fehler erstellt keinen Vektor für Sätze

Dieser Fehler tritt beim Vokabular auf, Zeichen, die den Satz im Stoppword -Filter ausmachen, und Sonderzeichen, die während des Trainingsprozesses entfernen, sollten zu keinem Vektor dieses Wortschatzes führen, was dazu führt, dass der Ladungssatz leer ist und kein Build ist.

Dieser Fehler wird dem Benutzer mit gelbem Niveau benachrichtigt

Danke

Vielen Dank, dass Sie NK-Vektor verwendet haben. Ich werde neue Algorithmen regelmäßig aktualisieren!
Vielen Dank, VNB für die Entwicklung des heiligen VNTK -Pakets

Das Produkt hat sich angewendet

Codesuche: https://code-search-vni.herokuapp.com/
Bevor der GPT-3-Key für alle veröffentlichen, kann ich trotzdem einen Ort erstellen, an dem ich in der Semantik des Beispiels von GPT-3 nach Python suchen kann