nk vector
1.0.0
基本上,NK-VEC是一种神经网络嵌入,具有Word2Vec的想法,并且具有与当前所有嵌入式模型相同的任务,但是它具有更简单的结构。通过NK-Vector库,您可以使用NK-VEC模型以最简单的方式根据自己的数据来构建向量设置。此外,NK-vector还为您提供一些有用的功能和算法,用于解决NLP问题。
我在Nguyen Khuyen中学(DA Nang)的Informatics室研究一个大型项目时创建了它,因此NK是学校名称的缩写,我想保存的这种烙印,值得一提。
| 颚 | 范围 | 例如 | 笔记 |
|---|---|---|---|
| create_one_hot | <file_url,url_save> | “ e: /project/data.txt”,“ e: /project/onehot.json” | 在此中,将默认为过滤英语和特殊字符,除了“ _” |
| create_window_words | <file_url,window_size,url_save> | “ e: /project /data.txt”,5,“ e: /project/window.txt” | 在此中,默认为过滤式通词英语和特殊字符,除了“ _'”。 window_size必须是一个奇数数字 |
| 火车 | <size_output,url_data_one_hot,url_data_window_words,url_save> | 512,“ | size_output是输出矢量尺寸的数量,它必须小于onehot矢量输入的第一个维度 |
| building_vec_sentences | <“ doc”,url_vecs_of_words,url_save> | “大家好”,“ e: /project /data_vector.json”,“”。 | 如果url_save的长度为零,则默认情况下返回向量,而无需保存,如果保存,请让JSON格式 - 示例 - “ e: /project /data_sentence_vector”“” |
| search_word_simurility | <“ target”,url_vecs_of_word,size_result> | “王”,e: /project /data_vector.json,15 | size_result对应于返回的单词数,最高至最低的单词数” |
| 财政部 | <“ target”,type_distance,data,k> | [7,8],“ Eculid”,点,4 | 请参阅下面功能的使用示例 |
| vn_sementation_tag | <“文档”> | “欢迎我” | 确保您的节点版本是10.16.0或更多版本的完整版本 |
| clear_sentence_vn | <“文档”> | “欢迎我” | 在这里,您的越南句子将从停止词越南人过滤到特殊角色 |
| clear_sentence_en | <“文档”> | “欢迎我” | 在这里,您的英语句子将从operword英语中过滤到特殊字符 |
| remove_duplicate_words | <“文档”> | “欢迎我” | 句子中会有重复的单词,并且用于英语和越南语 |
| fast_build_chatbot | <“ text”> | “今天的天气如何” | 在这里,机器人将返回其中一个标签:化学,通用_asking,数学,good_bye,hello hello,介绍,谢谢,ask_weather,未知 |
| sentiment_vn | <“ text”> | “今天是如此的阴暗” | 这里将返回其中一个标签:悲伤,快乐,沮丧,正常,未知 - 例如,结果返回是字符串:悲伤” |
| FIX_TELEX | <“ text”> | “ Anh Thinch Awn Busn Char Cas” | 这里将返回电传的结果 - 例如:我喜欢吃鱼bun |
| English_or_vietnames | <“ text”> | “你好,你吧?” | 它将将结果返回为一个对象,包括your_text,label,fix_text学校 - 例如{your_text:'hiell y hiell y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y y hign',fix_text:'你好,你好吗? |
| } |
- 安装node.js
- 运行:npm i nk-vector
let NKV = require ( 'nk-vector' )示例:使用下巴功能
let NKV = require ( 'nk-vector' )
let points = [
[ 1 , 2 ] ,
[ 3 , 4 ] ,
[ 5 , 6 ] ,
[ 7 , 8 ]
] ;
let nearest = NKV . knn ( [ 7 , 8 ] , 'eculid' , points , 4 ) ;
console . log ( nearest ) ;
/*Result:
[ [ [ 7, 8 ], 0 ],
[ [ 5, 6 ], 8 ],
[ [ 3, 4 ], 32 ],
[ [ 1, 2 ], 72 ] ]
Giải thích kết quả mảng trả về: [<vector trong tập dữ liệu>, <khoảng cách từ vector đầu vào tới vector này>]
*/示例:使用功能building_vec_sentences
let NKV = require ( 'nk-vector' )
let sentence = NKV . VN_segmentation_tag ( NKV . clear_sentence_vn ( 'cân bằng phương trình hóa học' ) )
let full_sentence = ''
for ( let word in sentence ) {
full_sentence += sentence [ word ] . replace ( ' ' , '_' ) + ' '
}
if ( full_sentence . length > 0 ) {
console . log ( full_sentence )
console . log ( NKV . build_vec_sentences ( full_sentence . trim ( ) , 'E:/<name_project>/data_vec.json' , '' ) )
}
/*Result:
{"cân_bằng phương_trình hóa học":[0.002338010428122218,...,0,0,0.00111962700489077,0.0009866701202071657,0.00111962700489077,0,0.00111962700489077,0,0,0.0009866701202071657,0,0.0010865777210490053,0,0.0010865777210490053,0,0,0,0,0,0.0009866701202071657,0,0,0,0,0,0,0.0010865777210490053,...0,0.0010865777210490053,...,0]}
*/示例:使用clear_sentence_vn
let NKV = require ( 'nk-vector' )
let clear_sentence = NKV . clear_sentence_vn ( "Chào mừng các bạn lên trên trời, ở đây là trên trời" )
console . log ( clear_sentence ) ;
//Result: chào mừng trời trời红色:错误无法继续
黄色:这只是一个正常通知,仍在运行
如果遇到未找到文件Word文件的错误,请根据终端中的路径找到错误行,然后将其修改为:
- path.join(__ dirke,“/src/stop_word.txt”):让函数clear_sentence_en
- path.join(__ direct,“/src/stop_word_vnt_vn.txt”):对于函数clear_sentence_vn
或完全按照您的方式进行过滤路径此错误已在红色级别通知用户
当词汇,构成句子过滤器中句子的字符和在训练过程中删除特殊字符的字符应导致这些词汇的矢量时,会发生这种错误,从而导致加载句子为空,没有构建。
该错误已通知使用黄色级别的用户
感谢您使用NK-vector,我将定期更新新算法!
谢谢您,VNB开发了Holy VNTK包裹
代码搜索:https://code-search-vni.herokuapp.com/
在GPT-3为每个人发布密钥之前,我仍然可以创建一个在GPT-3示例的语义中搜索Python的场所