nk vector
1.0.0
基本上,NK-VEC是一種神經網絡嵌入,具有Word2Vec的想法,並且具有與當前所有嵌入式模型相同的任務,但是它具有更簡單的結構。通過NK-Vector庫,您可以使用NK-VEC模型以最簡單的方式根據自己的數據來構建向量設置。此外,NK-vector還為您提供一些有用的功能和算法,用於解決NLP問題。
我在Nguyen Khuyen中學(DA Nang)的Informatics室研究一個大型項目時創建了它,因此NK是學校名稱的縮寫,我想保存的這種烙印,值得一提。
| 顎 | 範圍 | 例如 | 筆記 |
|---|---|---|---|
| create_one_hot | <file_url,url_save> | “ e: /project/data.txt”,“ e: /project/onehot.json” | 在此中,將默認為過濾英語和特殊字符,除了“ _” |
| create_window_words | <file_url,window_size,url_save> | “ e: /project /data.txt”,5,“ e: /project/window.txt” | 在此中,默認為過濾式通詞英語和特殊字符,除了“ _'”。 window_size必須是一個奇數數字 |
| 火車 | <size_output,url_data_one_hot,url_data_window_words,url_save> | 512,“ | size_output是輸出矢量尺寸的數量,它必須小於onehot矢量輸入的第一個維度 |
| building_vec_sentences | <“ doc”,url_vecs_of_words,url_save> | “大家好”,“ e: /project /data_vector.json”,“”。 | 如果url_save的長度為零,則默認情況下返迴向量,而無需保存,如果保存,請讓JSON格式 - 示例 - “ e: /project /data_sentence_vector”“” |
| search_word_simurility | <“ target”,url_vecs_of_word,size_result> | “王”,e: /project /data_vector.json,15 | size_result對應於返回的單詞數,最高至最低的單詞數” |
| 財政部 | <“ target”,type_distance,data,k> | [7,8],“ Eculid”,點,4 | 請參閱下面功能的使用示例 |
| vn_sementation_tag | <“文檔”> | “歡迎我” | 確保您的節點版本是10.16.0或更多版本的完整版本 |
| clear_sentence_vn | <“文檔”> | “歡迎我” | 在這裡,您的越南句子將從停止詞越南人過濾到特殊角色 |
| clear_sentence_en | <“文檔”> | “歡迎我” | 在這裡,您的英語句子將從operword英語中過濾到特殊字符 |
| remove_duplicate_words | <“文檔”> | “歡迎我” | 句子中會有重複的單詞,並且用於英語和越南語 |
| fast_build_chatbot | <“ text”> | “今天的天氣如何” | 在這裡,機器人將返回其中一個標籤:化學,通用_asking,數學,good_bye,hello hello,介紹,謝謝,ask_weather,未知 |
| sentiment_vn | <“ text”> | “今天是如此的陰暗” | 這裡將返回其中一個標籤:悲傷,快樂,沮喪,正常,未知 - 例如,結果返回是字符串:悲傷” |
| FIX_TELEX | <“ text”> | “ Anh Thinch Awn Busn Char Cas” | 這裡將返回電傳的結果 - 例如:我喜歡吃魚bun |
| English_or_vietnames | <“ text”> | “你好,你吧?” | 它將將結果返回為一個對象,包括your_text,label,fix_text學校 - 例如{your_text:'hiell y hiell y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y hign',fix_text:'你好,你好嗎? |
| } |
- 安裝node.js
- 運行:npm i nk-vector
let NKV = require ( 'nk-vector' )示例:使用下巴功能
let NKV = require ( 'nk-vector' )
let points = [
[ 1 , 2 ] ,
[ 3 , 4 ] ,
[ 5 , 6 ] ,
[ 7 , 8 ]
] ;
let nearest = NKV . knn ( [ 7 , 8 ] , 'eculid' , points , 4 ) ;
console . log ( nearest ) ;
/*Result:
[ [ [ 7, 8 ], 0 ],
[ [ 5, 6 ], 8 ],
[ [ 3, 4 ], 32 ],
[ [ 1, 2 ], 72 ] ]
Giải thích kết quả mảng trả về: [<vector trong tập dữ liệu>, <khoảng cách từ vector đầu vào tới vector này>]
*/示例:使用功能building_vec_sentences
let NKV = require ( 'nk-vector' )
let sentence = NKV . VN_segmentation_tag ( NKV . clear_sentence_vn ( 'cân bằng phương trình hóa học' ) )
let full_sentence = ''
for ( let word in sentence ) {
full_sentence += sentence [ word ] . replace ( ' ' , '_' ) + ' '
}
if ( full_sentence . length > 0 ) {
console . log ( full_sentence )
console . log ( NKV . build_vec_sentences ( full_sentence . trim ( ) , 'E:/<name_project>/data_vec.json' , '' ) )
}
/*Result:
{"cân_bằng phương_trình hóa học":[0.002338010428122218,...,0,0,0.00111962700489077,0.0009866701202071657,0.00111962700489077,0,0.00111962700489077,0,0,0.0009866701202071657,0,0.0010865777210490053,0,0.0010865777210490053,0,0,0,0,0,0.0009866701202071657,0,0,0,0,0,0,0.0010865777210490053,...0,0.0010865777210490053,...,0]}
*/示例:使用clear_sentence_vn
let NKV = require ( 'nk-vector' )
let clear_sentence = NKV . clear_sentence_vn ( "Chào mừng các bạn lên trên trời, ở đây là trên trời" )
console . log ( clear_sentence ) ;
//Result: chào mừng trời trời紅色:錯誤無法繼續
黃色:這只是一個正常通知,仍在運行
如果遇到未找到文件Word文件的錯誤,請根據終端中的路徑找到錯誤行,然後將其修改為:
- path.join(__ dirke,“/src/stop_word.txt”):讓函數clear_sentence_en
- path.join(__ direct,“/src/stop_word_vnt_vn.txt”):對於函數clear_sentence_vn
或完全按照您的方式進行過濾路徑此錯誤已在紅色級別通知用戶
當詞彙,構成句子過濾器中句子的字符和在訓練過程中刪除特殊字符的字符應導致這些詞彙的矢量時,會發生這種錯誤,從而導致加載句子為空,沒有構建。
該錯誤已通知使用黃色級別的用戶
感謝您使用NK-vector,我將定期更新新算法!
謝謝您,VNB開發了Holy VNTK包裹
代碼搜索:https://code-search-vni.herokuapp.com/
在GPT-3為每個人發布密鑰之前,我仍然可以創建一個在GPT-3示例的語義中搜索Python的場所