cybertron

塞伯特朗

Cyber​​tron是在Spago上构建的Pure Go中的一个软件包，它为GO开发人员提供了一个简单的界面，可以使用NLP技术，而无需其他编程语言或复杂的框架。它设计用于使用HuggingFace模型存储库中可用的预训练的变压器模型。

该软件包主要旨在进行推断，以便将来添加微调。

该团队愿意为加快其增长的贡献者开放。

支持的模型

• 伯特
• 伊莱克
• 巴特
• 飞马
• 玛丽安

支持的任务

• 蒙版语言建模
• 有监督和零弹的文本分类（情感分析，主题分类，意图检测，...）
• 令牌分类（命名为实体识别，言论部分标记，...）
• 提取和抽象的提问
• 文本编码（文本嵌入，语义搜索，...）
• 文本生成（翻译，释义，摘要，...）
• 关系提取

用法

要求：

• 走1.21

克隆此存储库或获取图书馆：

 go get -u github.com/nlpodyssey/cybertron

Cyber​​tron支持两个主要用例，在下文中对此进行了详细的详细解释。

服务器模式

设置在.env文件中配置，该文件会自动由Cyber​​tron加载。另外，它还可以通过标志接受配置。

对于完整的列表运行：

 GOARCH=amd64 go run ./cmd/server -h

输出：

 Usage of server:
  -address value
        server listening address
  -allowed-origins value
        allowed origins (comma separated)
  -loglevel value
        zerolog global level
  -model value
        model name (and sub-path of models-dir)
  -model-conversion value
        model conversion policy ("always"|"missing"|"never")
  -model-conversion-precision value
        floating-point bits of precision to use if the model is converted ("32"|"64")
  -model-download value
        model downloading policy ("always"|"missing"|"never")
  -models-dir value
        models's base directory
  -network value
        network type for server listening
  -task value
        type of inference/computation that the model can fulfill ("textgeneration"|"zero-shot-classification"|"question-answering"|"text-classification"|"token-classification"|"text-encoding")
  -tls value
        whether to enable TLS ("true"|"false")
  -tls-cert value
        TLS cert filename
  -tls-key value
        TLS key filename

例如，要在服务器模式下运行Cyber​​tron，以进行机器翻译（例如en it ），请在当前目录中创建.env文件：

 echo "CYBERTRON_MODEL=Helsinki-NLP/opus-mt-en-it" > .env
echo "CYBERTRON_MODELS_DIR=models" >> .env
echo "CYBERTRON_MODEL_TASK=text-generation" >> .env

并执行以下命令：

 GOARCH=amd64 go run ./cmd/server -address 0.0.0.0:8080

要测试服务器，请运行：

 curl -X 'POST' 
  '0.0.0.0:8080/v1/generate' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{
  "input": "You must be the change you wish to see in the world.",
  "parameters": {}
}' 

库模式

可以利用几个例子来参观塞伯顿目前的NLP功能。现在随后列出了演示列表。

机器翻译（en-> it）

 GOARCH=amd64 go run ./examples/textgeneration

零击文本分类

配x如果.env文件中指定的模型不兼容，则将返回错误。在这种情况下，从配置文件中删除指定的模型，因此将使用默认模型。

 GOARCH=amd64 go run ./examples/zeroshotclassification politics,business,science,technology,health,culture,sports

依赖性

塞伯特朗的典型依赖性是：

• Spago-纯GO中的轻巧的独立机器学习框架
• Gopickle-一个用于加载Python的数据与Pickle和Pytorch模块文件序列化的GO模块
• Gotokenizers - 执行当今最习惯的令牌

其余的主要用于GRPC和HTTP API开发。

开发工具

本节旨在针对想要更改或丰富Cyber​​tron GRPC和HTTP API的开发人员。

首先，您需要在计算机中安装BUF。

然后安装以下工具：

 go install github.com/grpc-ecosystem/grpc-gateway/v2/protoc-gen-grpc-gateway 
  github.com/grpc-ecosystem/grpc-gateway/v2/protoc-gen-openapiv2 
  google.golang.org/protobuf/cmd/protoc-gen-go 
  google.golang.org/grpc/cmd/protoc-gen-go-grpc

然后运行以下命令以生成GRPC和HTTP API：

 go generate ./...