rwkv Download - rwkv Code Source Download

rwkv

Code Source AI

v0.0.8

Télécharger

rwkv

Pure GO pour RWKV et supportez la plate-forme multiplateuse.

rwkv.go est un emballage autour de rwkv.cpp, qui est une adaptation de ggml.cpp.

Installation

go get github.com/seasonjs/rwkv

Compatibilité de l'automodel

Voir le dossier deps pour la compatibilité Dylib, ou vous pouvez construire la bibliothèque par vous-même, et Push Demande est la bienvenue.

NewRwkvAutoModel GPU prend en charge AMD et NVIDIA sur Windows.

NewRwkvModel a besoin que vous chargez manuellement la bibliothèque dynamique et la bibliothèque dynamique dépend de la plate-forme.

L'utilisateur de Windows AMD GPU peut avoir besoin de vérifier l'architecture ROCM pour obtenir plus d'informations.

L'utilisateur de Windows Nvidia GPU peut avoir besoin de vérifier l'architecture CUDA pour obtenir plus d'informations.

plate-forme	x32	x64	bras	AMD / ROCM	Nvidia / cuda
fenêtre	pas de soutien	Prise en charge AVX / AVX2 / AVX512	pas de soutien	Prise en charge ROCM5.5	Support CUDA12
linux	pas de soutien	soutien	pas de soutien	pas de soutien	pas de soutien
darwin	pas de soutien	soutien	soutien	pas de soutien	pas de soutien

Avertissement des bibliothèques dynamiques de l'automodel

La source des bibliothèques dynamiques

Ces bibliothèques dynamiques proviennent de la version RWKV.CPP, la version dynamique de la bibliothèque peut être obtenue en affichant le fichier rwkv.version quiconque peut vérifier la cohérence du fichier par chèque du MD5 du fichier.

La sécurité des bibliothèques dynamiques

Tout ce que je peux dire, c'est que la création de la bibliothèque dynamique est publique et ne contient aucune logique malveillante subjective. Si vous vous inquiétez de la sécurité de la bibliothèque dynamique pendant le processus d'utilisation, vous pouvez le construire vous-même.

Moi et tout auteur lié aux bibliothèques dynamiques n'assument aucun problème, responsabilité ou responsabilité légale lors de l'utilisation.

Usage

Vous pouvez trouver un exemple complet dans le dossier Exemples.

Voici un exemple simple:

 package main

import (
	"fmt"
	"github.com/seasonjs/rwkv"
)

func main () {
	model , err := rwkv . NewRwkvAutoModel (rwkv. RwkvOptions {
		MaxTokens :     500 ,
		StopString :    " n n " ,
		Temperature :   0.8 ,
		TopP :          0.5 ,
		TokenizerType : rwkv . World , //or World
		PrintError :    true ,
		CpuThreads :    10 ,
		GpuEnable :     false ,
	})

	if err != nil {
		fmt . Print ( err . Error ())
		return
	}

	defer model . Close ()

	err = model . LoadFromFile ( "./models/RWKV-5-World-0.4B-v2-20231113-ctx4096-F16.bin" )
	if err != nil {
		fmt . Print ( err . Error ())
		return
	}
	prompt := `The following is a coherent verbose detailed conversation between a Chinese girl named Alice and her friend Bob.
Alice is very intelligent, creative and friendly.
Alice likes to tell Bob a lot about herself and her opinions.
Alice usually gives Bob kind, helpful and informative advices.

Bob: lhc
Alice: LHC是指大型强子对撞机（Large Hadron Collider），是世界最大最强的粒子加速器，由欧洲核子中心（CERN）在瑞士日内瓦地下建造。
LHC的原理是加速质子（氢离子）并让它们相撞，让科学家研究基本粒子和它们之间的相互作用，并在2012年证实了希格斯玻色子的存在。

Bob: 企鹅会飞吗
Alice: 企鹅是不会飞的。企鹅的翅膀短而扁平，更像是游泳时的一对桨。企鹅的身体结构和羽毛密度也更适合在水中游泳，而不是飞行。

`
	user := `Bob: 请介绍北京的旅游景点？
Alice: `

	ctx , err := model . InitState ( prompt )

	if err != nil {
		print ( err . Error ())
		return
	}

	out , err := ctx . Predict ( user )

	if err != nil {
		print ( err . Error ())
		return
	}

	print ( out )
}