rwkv -Download - rwkv -Quellcode herunterladen

rwkv

AI-Quellcode

v0.0.8

Herunterladen

rwkv

Pure GO für RWKV und stütze plattformübergreifende.

rwkv.go ist ein Wrapper um rwkv.cpp, was eine Anpassung von ggml.cpp ist.

Installation

go get github.com/seasonjs/rwkv

Automodellkompatibilität

Siehe deps -Ordner für Dylib -Kompatibilität, oder Sie können die Bibliothek selbst erstellen, und Push -Anfrage ist willkommen.

NewRwkvAutoModel unterstützt AMD und NVIDIA unter Windows.

NewRwkvModel müssen Sie die dynamische Bibliothek manuell laden, und die dynamische Bibliothek ist plattformabhängig.

Der Windows AMD -GPU -Benutzer muss möglicherweise die ROCM -Architektur überprüfen, um weitere Informationen zu erhalten.

Der Windows Nvidia GPU -Benutzer muss möglicherweise die CUDA -Architektur überprüfen, um weitere Informationen zu erhalten.

Plattform	x32	x64	Arm	AMD/ROCM	Nvidia/Cuda
Fenster	nicht Unterstützung	Unterstützen Sie AVX/AVX2/AVX512	nicht Unterstützung	ROCM5.5 -Unterstützung	CUDA12 -Unterstützung
Linux	nicht Unterstützung	Unterstützung	nicht Unterstützung	nicht Unterstützung	nicht Unterstützung
Darwin	nicht Unterstützung	Unterstützung	Unterstützung	nicht Unterstützung	nicht Unterstützung

Haftungsausschluss der dynamischen Bibliotheken für Automodel

Die Quelle dynamischer Bibliotheken

Diese dynamischen Bibliotheken stammen aus der Version von rwkv.cpp, die dynamische Bibliotheksversion kann durch Anzeigen von RWKV.Version -Datei erhalten werden, die jeder die Konsistenz der Datei durch Prüfsumme der MD5 der Datei überprüfen kann.

Die Sicherheit dynamischer Bibliotheken

Ich kann nur sagen, dass die Schaffung der dynamischen Bibliothek öffentlich ist und keine subjektive böswillige Logik enthält. Wenn Sie sich über die Sicherheit der dynamischen Bibliothek während des Nutzungsprozesses Sorgen machen, können Sie sie selbst erstellen.

I und jeder Autor, der sich auf dynamische Bibliotheken bezieht, übernehmen keine Probleme, Verantwortlichkeiten oder rechtliche Haftungen während der Verwendung.

Verwendung

In Beispielen finden Sie ein vollständiges Beispiel.

Hier ist ein einfaches Beispiel:

 package main

import (
	"fmt"
	"github.com/seasonjs/rwkv"
)

func main () {
	model , err := rwkv . NewRwkvAutoModel (rwkv. RwkvOptions {
		MaxTokens :     500 ,
		StopString :    " n n " ,
		Temperature :   0.8 ,
		TopP :          0.5 ,
		TokenizerType : rwkv . World , //or World
		PrintError :    true ,
		CpuThreads :    10 ,
		GpuEnable :     false ,
	})

	if err != nil {
		fmt . Print ( err . Error ())
		return
	}

	defer model . Close ()

	err = model . LoadFromFile ( "./models/RWKV-5-World-0.4B-v2-20231113-ctx4096-F16.bin" )
	if err != nil {
		fmt . Print ( err . Error ())
		return
	}
	prompt := `The following is a coherent verbose detailed conversation between a Chinese girl named Alice and her friend Bob.
Alice is very intelligent, creative and friendly.
Alice likes to tell Bob a lot about herself and her opinions.
Alice usually gives Bob kind, helpful and informative advices.

Bob: lhc
Alice: LHC是指大型强子对撞机（Large Hadron Collider），是世界最大最强的粒子加速器，由欧洲核子中心（CERN）在瑞士日内瓦地下建造。
LHC的原理是加速质子（氢离子）并让它们相撞，让科学家研究基本粒子和它们之间的相互作用，并在2012年证实了希格斯玻色子的存在。

Bob: 企鹅会飞吗
Alice: 企鹅是不会飞的。企鹅的翅膀短而扁平，更像是游泳时的一对桨。企鹅的身体结构和羽毛密度也更适合在水中游泳，而不是飞行。

`
	user := `Bob: 请介绍北京的旅游景点？
Alice: `

	ctx , err := model . InitState ( prompt )

	if err != nil {
		print ( err . Error ())
		return
	}

	out , err := ctx . Predict ( user )

	if err != nil {
		print ( err . Error ())
		return
	}

	print ( out )
}