Download de langstream - Download do código fonte langstream

langstream

Outro código-fonte

v0.6.2

Baixar

Langstream

Confira nosso site.

Tem uma pergunta? Junte -se à nossa comunidade no Slack ou Linen!

Para a documentação completa, clique aqui.

Obtenha a extensão Langstream vs Code aqui.

Conteúdo

Langstream
- CLI
- Experimente o aplicativo de amostra
- Crie seu próprio aplicativo
- Corra Langstream em Kubernetes
  - Implantação pronta para produção
  - Implantação local
- Desenvolvimento

CLI

A CLI de aviso exige que o Java 11+ já seja instalado em sua máquina.

Instalação

Existem várias maneiras de instalar a CLI.

Macos:

Homebrew

 brew install LangStream/langstream/langstream

Binário com Curl

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

Unix:

Binário com Curl

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

Verifique se está disponível o binário:

 langstream -V

Consulte a documentação da CLI para saber mais.

Experimente o aplicativo de amostra

Execute o aplicativo de conclusão de bate-papo de amostra on-the-fly:

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Em uma janela de terminal diferente:

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

Veja mais aplicativos de amostra na pasta Exemplos.

Crie seu próprio aplicativo

Para criar seu próprio aplicativo, consulte a documentação do desenvolvedor.

Corra Langstream em Kubernetes

A Langstream está pronta para a produção e é sugerida implantá-lo em um cluster Kubernetes. As seguintes distribuições de Kubernetes são suportadas:

Amazon Eks
Azure Aks
Google GKE
Minikube

Para executar um cluster Langstream, você precisa dos seguintes componentes externos :

Apache Kafka ou Apache Pulsar
Armazenamento compatível com API S3 ou armazenamento do Azure Blob (Amazon S3, Google Cloud Storage, Azure Blob Storage, Minio)

Implantação pronta para produção

Para instalar o Langstream, você pode usar o gráfico de lang para langstream :

 helm repo add langstream https://langstream.ai/charts
helm repo update

Em seguida, crie o arquivo de valores. Neste ponto, você já precisa do serviço de armazenamento para estar em funcionamento.

Caso você esteja usando o S3, você pode usar os seguintes valores:

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

Para o Azure:

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

Agora instale o Langstream com ele:

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

Implantação local

Para criar um cluster Langstream local, é recomendável usar o Minikube. mini-langstream vem em ajuda para instalar e gerenciar seu cluster local.

Para instalar mini-langstream :

Macos:

brew install LangStream/langstream/mini-langstream

Unix:

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

Em seguida, startup o cluster:

mini-langstream start

Implantar um aplicativo:

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Para parar o cluster: