react native spokestack - react native spokestack

Reaja a porta -voz nativa

Reaja o plug -in nativo para adicionar voz usando a porta -voz. Isso inclui reconhecimento de fala, wakeword e entendimento de linguagem natural, além de sintetizar o texto na fala usando vozes de porta -voz.

Requisitos

Reação nativa : 0,60.0+
Android : Android SDK 21+
iOS : iOS 13+

Instalação

Usando NPM:

npm install --save react-native-spokestack

ou usando fios:

yarn add react-native-spokestack

Em seguida, siga as instruções para cada plataforma para vincular a S-Spokestack React-Native ao seu projeto:

instalação do iOS

detalhes do iOS

Defina o destino de implantação

Primeiro, abra o Xcode e vá para o Projeto -> Informações para definir o destino de implantação do iOS como 13.0 ou superior.

Além disso, defina a implantação para 13.0 em Target -> Geral -> Informações de implantação.

Remova o caminho de pesquisa de biblioteca inválida

Quando o Flipper foi introduzido para reagir nativo, alguns caminhos de pesquisa da biblioteca foram definidos para Swift. Houve um problema de longa data com os caminhos de pesquisa padrão em projetos nativos do React, porque um caminho de pesquisa foi adicionado para o Swift 5.0, o que impedia que outras bibliotecas nativas do React usassem APIs disponíveis apenas no Swift 5.2 ou posterior. Spokestack-Iios, uma dependência da Spokestack React-Native faz uso dessas APIs e Xcode não conseguirá construir.

Felizmente, a correção é bastante simples. Vá para o seu destino -> Construa configurações e pesquise "caminhos de pesquisa da biblioteca".

Remova ""$(TOOLCHAIN_DIR)/usr/lib/swift-5.0/$(PLATFORM_NAME)"" da lista.

Edite podfile

Antes de executar pod install , faça as seguintes edições.

O React-Native-Spokestack faz uso de APIs relativamente novas disponíveis apenas no iOS 13+. Defina a meta de implantação para o iOS 13 no topo do seu podfile:

 platform :ios , '13.0'

Também precisamos usar use_frameworks! Em nosso poderoso, para apoiar dependências escritas no Swift.

 target 'SpokestackExample' do
  use_frameworks!
  #...

Por enquanto, use_frameworks! Não funciona com Flipper, então também precisamos desativar o Flipper. Remova todas as linhas relacionadas a Flipper no seu PODFILE. No React Native 0.63.2+, eles se parecem com o seguinte:

  # X Remove or comment out these lines X
  # use_flipper!
  # post_install do |installer|
  #   flipper_post_install(installer)
  # end
  # XX

Bug no React Native 0.64.0 (deve ser corrigido em 0,64.1)

O React Native 0.64.0 quebrou todos os projetos usando use_frameworks! em seus podfiles.

Para mais informações sobre este bug, consulte o Facebook/React-nativo#31149.

Para alternar esta edição, adicione o seguinte ao seu PODFILE:

 # Moves 'Generate Specs' build_phase to be first for FBReactNativeSpec
post_install do | installer |
  installer . pods_project . targets . each do | target |
    if ( target . name &. eql? ( 'FBReactNativeSpec' ) )
      target . build_phases . each do | build_phase |
        if ( build_phase . respond_to? ( :name ) && build_phase . name . eql? ( '[CP-User] Generate Specs' ) )
          target . build_phases . move ( build_phase , 0 )
        end
      end
    end
  end
end

POD Instale

Remova sua pasta Podfile.lock e Pods existentes para garantir conflitos e, em seguida, instale os pods:

$ npx pod-install

Editar info.plist

Adicione o seguinte à sua info.plista para ativar as permissões.

< key >NSMicrophoneUsageDescription</ key >
< string >This app uses the microphone to hear voice commands</ string >
< key >NSSpeechRecognitionUsageDescription</ key >
< string >This app uses speech recognition to process voice commands</ string >

Remova a flipper

Enquanto o Flipper trabalha para consertar seu pod para use_frameworks! , devemos desativar a flipper. Já removemos as dependências de flipper das vagens acima, mas ainda há algum código no appDelegate.m que importa Flipper. Existem duas maneiras de consertar isso.

Você pode desativar as importações de flipper sem remover nenhum código do AppDelegate. Para fazer isso, abra seu arquivo XCWorkspace no Xcode. Vá para o seu destino e, em seguida, crie configurações, pesquise "sinalizadores C", remova -DFB_SONARKIT_ENABLED=1 de sinalizadores.
Remova todo o código relacionado a flipper do seu appDelegate.m.

Em nosso aplicativo de exemplo, fizemos a opção 1 e deixamos no código Flipper, caso eles o faça funcionar no futuro e possamos adicioná -lo novamente.

Edite appdelegate.m

Adicione a avfoundation às importações

# import < AVFoundation/AVFoundation.h >

Categoria de audiosação

Defina a categoria de audiosação. Existem várias configurações que funcionam.

A seguir, é apresentada uma sugestão que deve se encaixar na maioria dos casos de uso:

- ( BOOL )application:(UIApplication *)application didFinishLaunchingWithOptions:( NSDictionary *)launchOptions
{
  AVAudioSession *session = [AVAudioSession sharedInstance ];
  [session setCategory: AVAudioSessionCategoryPlayAndRecord
     mode: AVAudioSessionModeDefault
  options: AVAudioSessionCategoryOptionDefaultToSpeaker | AVAudioSessionCategoryOptionAllowAirPlay | AVAudioSessionCategoryOptionAllowBluetoothA2DP | AVAudioSessionCategoryOptionAllowBluetooth
    error: nil ];
  [session setActive: YES error: nil ];

  // ...

Instalação do Android

Detalhes do Android

Suporte ASR

O uso de exemplo usa o ASRS fornecido pelo sistema ( AndroidSpeechRecognizer e AppleSpeechRecognizer ). No entanto, AndroidSpeechRecognizer não está disponível em 100% dos dispositivos. Se o seu aplicativo suportar um dispositivo que não tenha reconhecimento de fala interno, use a porta-voz ASR, definindo o profile em um perfil de porta-voz usando o suporte profile .

Consulte nossa documentação do ASR para obter mais informações.

Editar raiz construir.gradle ( não app/build.gradle)

 // ...
  ext {
    // Set the minimum SDK to 24.
    // React Native 0.64+ sets version 21.
    // If you prefer to leave the minimum SDK at 21,
    // another option is to set this to 21, but
    // also set android.enableDexingArtifactTransform=false
    // in your top-level gradle.properties.
    // See https://github.com/google/ExoPlayer/issues/6801#issuecomment-574089568
    minSdkVersion = 24
// ...
  dependencies {
    // Minimium gradle is 3.0.1+
    // The latest React Native already has this
    classpath( " com.android.tools.build:gradle:4.2.1 " )

Edite Androidmanifest.xml

Adicione as permissões necessárias ao seu AndroidManifest.xml . A primeira permissão já existe. O segundo é necessário para usar o microfone.

    <!-- For TTS -->
    < uses-permission android : name = " android.permission.INTERNET " />
    <!-- For wakeword and ASR -->
    < uses-permission android : name = " android.permission.RECORD_AUDIO " />
    <!-- For ensuring no downloads happen over cellular, unless forced -->
    < uses-permission android : name = " android.permission.ACCESS_NETWORK_STATE " />

Solicitar registro_audio permissão

A permissão Record_Audio é especial, pois deve ser listada no AndroidManifest.xml , bem como solicitado em tempo de execução. Existem algumas maneiras de lidar com isso (o React-Native-Spokestack não faz isso por você):

Recomendado Adicione uma tela à sua integração que explica a necessidade das permissões usadas em cada plataforma (Record_audio no Android e reconhecimento de fala no iOS). Dê uma olhada nas perifesões reativas-nativas para lidar com permissões de uma maneira mais robusta.
Solicite as permissões somente quando necessário, como quando um usuário toca em um botão "Ouça". Evite pedir permissão sem contexto ou sem explicar por que é necessário. Em outras palavras, não recomendamos pedir permissão no lançamento do aplicativo.

Embora o iOS traga diálogos de permissões automaticamente para quaisquer permissões necessárias, você deve fazer isso manualmente no Android.

O React Native já fornece um módulo para isso. Consulte as permissões e o nativo do React para obter mais informações.

Uso

Comece a usar a porta-voz ou confira nossos tutoriais aprofundados no ASR, NLU e TTS. Também não deixe de dar uma olhada no livro de receitas para obter soluções rápidas para problemas comuns.

Um aplicativo de exemplo de funcionamento está incluído neste repositório no example/ pasta.

 import Spokestack from 'react-native-spokestack'
import { View , Button , Text } from 'react-native'

function App ( ) {
  const [ listening , setListening ] = useState ( false )

  const onActivate = ( ) => setListening ( true )
  const onDeactivate = ( ) => setListening ( false )
  const onRecognize = ( { transcript } ) => console . log ( transcript )

  useEffect ( ( ) => {
    Spokestack . addEventListener ( 'activate' , onActivate )
    Spokestack . addEventListener ( 'deactivate' , onDeactivate )
    Spokestack . addEventListener ( 'recognize' , onRecognize )
    Spokestack . initialize (
      process . env . SPOKESTACK_CLIENT_ID ,
      process . env . SPOKESTACK_CLIENT_SECRET
    )
      // This example starts the Spokestack pipeline immediately,
      // but it could be delayed until after onboarding or other
      // conditions have been met.
      . then ( Spokestack . start )

    return ( ) => {
      Spokestack . removeAllListeners ( )
    }
  } , [ ] )

  return (
    < View >
      < Button onClick = { ( ) => Spokestack . activate ( ) } title = "Listen" />
      < Text > { listening ? 'Listening...' : 'Idle' } </ Text >
    </ View >
  )
}

Incluindo arquivos de modelo em seu pacote de aplicativos

Para incluir arquivos de modelo localmente no seu aplicativo (em vez de baixá -los de uma CDN), você também precisa adicionar as extensões necessárias para que os arquivos possam ser incluídos por Babel. Para fazer isso, edite seu metro.config.js .

 const defaults = require ( 'metro-config/src/defaults/defaults' )

module . exports = {
  resolver : {
    assetExts : defaults . assetExts . concat ( [ 'tflite' , 'txt' , 'sjson' ] )
  }
}

Em seguida, inclua arquivos de modelo usando objetos de origem:

 Spokestack . initialize ( clientId , clientSecret , {
  wakeword : {
    filter : require ( './filter.tflite' ) ,
    detect : require ( './detect.tflite' ) ,
    encode : require ( './encode.tflite' )
  } ,
  nlu : {
    model : require ( './nlu.tflite' ) ,
    vocab : require ( './vocab.txt' ) ,
    // Be sure not to use "json" here.
    // We use a different extension (.sjson) so that the file is not
    // immediately parsed as json and instead
    // passes a require source object to Spokestack.
    // The special extension is only necessary for local files.
    metadata : require ( './metadata.sjson' )
  }
} )

Isso não é necessário. Passe URLs remotos para as mesmas opções de configuração e os arquivos serão baixados e armazenados em cache ao initialize pela primeira vez.

Contribuindo

Consulte o guia contribuinte para aprender a contribuir para o repositório e o fluxo de trabalho de desenvolvimento.

Documentação da API

inicializar

▸ Inicialize ( clientId , clientSecret , config? ): Promise void

Inicialize o pipeline de fala; necessário para todos os outros métodos.

Os 2 primeiros args são suas credenciais de porta -voz disponíveis gratuitamente em https://spokestack.io. Evite codificar isso em seu aplicativo. Existem várias maneiras de incluir variáveis de ambiente em seu código.

Usando Process.env: https://babeljs.io/docs/en/babel-plugin-transform-inline-environment-variables/

Usando um arquivo .env local ignorado por git: https://github.com/goatandsheep/react-native-dotenv https://github.com/luggit/react-native-config

Consulte SpokestackConfig para obter todas as opções disponíveis.

example

 import Spokestack from 'react-native-spokestack'

// ...

await Spokestack . initialize ( process . env . CLIENT_ID , process . env . CLIENT_SECRET , {
  pipeline : {
    profile : Spokestack . PipelineProfile . PTT_NATIVE_ASR
  }
} )

Parâmetros

Nome	Tipo
`clientId`	`string`
`clientSecret`	`string`
`config?`	`[SpokestackConfig](#SpokestackConfig)`

Retorna

Promise void

Definido em

Index.ts: 64

destruir

▸ Destroy (): Promise void

Destrói o pipeline de fala, remove todos os ouvintes e libera todos os recursos. Isso pode ser chamado antes de reinicializar o pipeline. Um bom lugar para chamar isso é no componentWillUnmount .

example

 componentWillUnmount ( ) {
  Spokestack . destroy ( )
}

Retorna

Promise void

Definido em

Index.ts: 81

começar

▸ Start (): Promise void

Inicie o pipeline de fala. O pipeline de fala começa no estado deactivate .

example

 import Spokestack from 'react-native-spokestack`

// ...

Spokestack . initialize ( process . env . CLIENT_ID , process . env . CLIENT_SECRET )
  . then ( Spokestack . start )

Retorna

Promise void

Definido em

Index.ts: 96

parar

Stop Stop (): Promise void

Pare o pipeline de fala. Isso efetivamente para ASR, VAD e Wakeword.

example

 import Spokestack from 'react-native-spokestack`

// ...

await Spokestack . stop ( )

Retorna

Promise void

Definido em

Index.ts: 110

ativar

▸ Activate (): Promise void

Ative manualmente o pipeline de fala. Isso é necessário ao usar um perfil PTT. Os perfis VAD também podem ativar o ASR sem a necessidade de chamar esse método.

example

 import Spokestack from 'react-native-spokestack`

// ...

< Button title = "Listen" onClick = { ( ) => Spokestack . activate ( ) } />

Retorna

Promise void

Definido em

Index.ts: 126

desativar

▸ DeActivate (): Promise void

Desative o oleoduto da fala. Se o perfil incluir Wakeword, o pipeline voltará a ouvir o Wakeword. Se o VAD estiver ativo, o pipeline poderá reativar sem chamar Activate ().

example

 import Spokestack from 'react-native-spokestack`

// ...

< Button title = "Stop listening" onClick = { ( ) => Spokestack . deactivate ( ) } />

Retorna

Promise void

Definido em

Index.ts: 142

sintetize

▸ SyntheSize ( input , format? voice? ): Promise string

Sintetize algum texto em discurso retorna Promise<string> com a string sendo o URL para um MPEG jogável.

Atualmente, existe apenas uma voz gratuita disponível ("Demo-Male"). A voz pode ser alterada se você criou uma voz personalizada usando uma conta do Spokestack Maker. Veja https://spokestack.io/pricing#maker.

example

 const url = await Spokestack . synthesize ( 'Hello world' )
play ( url )

Parâmetros

Nome	Tipo
`input`	`string`
`format?`	`[TTSFormat](#TTSFormat)`
`voice?`	`string`

Retorna

Promise string

Definido em

Index.ts: 158

falar

▸ Speak ( input , format? voice? ): Promise void

Sintetize algum texto em fala e reproduza imediatamente o áudio através do sistema de áudio padrão. O manuseio da sessão de áudio pode ficar muito complexo e recomendamos o uso de uma biblioteca RN focada no áudio para algo mais do que uma reprodução muito simples.

Atualmente, existe apenas uma voz gratuita disponível ("Demo-Male").

example

 await Spokestack . speak ( 'Hello world' )

Parâmetros

Nome	Tipo
`input`	`string`
`format?`	`[TTSFormat](#TTSFormat)`
`voice?`	`string`

Retorna

Promise void

Definido em

Index.ts: 174

classificar

▸ Classificar ( utterance ): Promise SpokestackNLUResult

Classifique o enunciado usando o modelo de compreensão de linguagem natural de intenção/slot passada para a porta -voz.initialize (). Consulte https://www.spokestack.io/docs/concepts/nlu para mais informações.

example

 const result = await Spokestack . classify ( 'hello' )

// Here's what the result might look like,
// depending on the NLU model
console . log ( result . intent ) // launch

Parâmetros

Nome	Tipo
`utterance`	`string`

Retorna

Promise SpokestackNLUResult

Definido em

Index.ts: 190

isinitializado

▸ Isinitialized (): Promise boolean

Retorna se a porta -porta foi inicializada

example

 console . log ( `isInitialized: ${ await Spokestack . isInitialized ( ) } ` )

Retorna

Promise boolean

Definido em

Index.ts: 199

Isstarted

▸ ISSTARTED (): Promise boolean

Retorna se o pipeline de fala foi iniciado

example

 console . log ( `isStarted: ${ await Spokestack . isStarted ( ) } ` )

Retorna

Promise boolean

Definido em

Index.ts: 208

isativado

▸ Isativated (): Promise boolean

Retorna se o pipeline de fala está atualmente ativado

example

 console . log ( `isActivated: ${ await Spokestack . isActivated ( ) } ` )

Retorna

Promise boolean

Definido em

Index.ts: 217

Types.ts: 117

Interface: SpokestacknLuslots

Indexível

▪ [Chave: string ]: SpokestackNLUSlot

tipos.ts: 102

addEventListener

▸ AddEventListener ( eventType , listener , context? ): EmitterSubscription

Vincular a qualquer evento emitido pelas bibliotecas nativas, veja eventos para uma lista de todos os eventos disponíveis.

example

 useEffect ( ( ) => {
  const listener = Spokestack . addEventListener ( 'recognize' , onRecognize )
  // Unsubsribe by calling remove when components are unmounted
  return ( ) => {
    listener . remove ( )
  }
} , [ ] )

Parâmetros

Nome	Tipo	Descrição
`eventType`	`string`	nome do evento para o qual estamos registrando o ouvinte
`listener`	( `event` : `any` ) => `void`	a função do ouvinte
`context?`	`Object`	Contexto do ouvinte

Retorna

EmitterSubscription

Definido em

Index.ts: 237

RemovaeventListener

▸ RemovereventListener ( eventType , listener ): void

Remova um ouvinte de evento

example

 Spokestack . removeEventListener ( 'recognize' , onRecognize )

Parâmetros

Nome	Tipo	Descrição
`eventType`	`string`	Nome do evento para emitir
`listener`	(... `args` : `any` []) => `any`	Função para invocar quando o evento especificado é emitido

Retorna

void

Definido em

Index.ts: 253

Removealllisterners

▸ RemoveAlLlisteners (): void

Remova quaisquer ouvintes existentes

example

 Spokestack . removeAllListeners ( )

Retorna

void

Definido em

Index.ts: 265

TtsFormat

Três formatos são suportados ao usar TTS de porta -voz. Texto bruto, SSML e Marydown da fala. Consulte https://www.speechmarkdown.org/ se não estiver familiarizado com o Markdown da fala. O IPA é esperado ao usar SSML ou Markdown de fala.

• Speechmarkdown = 2

Definido em

tipos.ts: 73

• ssml = 1

Definido em

tipos.ts: 72

• Texto = 0

Definido em

tipos.ts: 71

Eventos

Use addEventListener() , removeEventListener() e removeAllListeners() para adicionar e remover os manipuladores de eventos. Todos os eventos estão disponíveis no iOS e no Android.

Nome	Dados	Descrição
reconhecer	`{ transcript: string }`	Disponível sempre que o reconhecimento de fala é concluído com êxito.
parcial_recognize	`{ transcript: string }`	Disparado sempre que a transcrição muda durante o reconhecimento da fala.
começar	`null`	Disponível quando o pipeline de fala é iniciado (que começa a ouvir o Wakeword ou inicia o VAD).
parar	`null`	Disparado quando o pipeline de fala para.
ativar	`null`	Disponível quando o pipeline de fala é ativado, através do VAD, Wakeword ou ao chamar `.activate()` .
desativar	`null`	Disparou quando o pipeline de fala desativar.
jogar	`{ playing: boolean }`	Disponível quando a reprodução do TTS começa e para. Veja a função `speak()` .
tempo esgotado	`null`	Disparou quando um pipeline ativo se destaca devido à falta de reconhecimento.
traço	`{ message: string }`	Disparado por mensagens de rastreamento. A verbosidade é determinada pela opção `traceLevel` .
erro	`{ error: string }`	Disponível quando há um erro na porta -voz.

Quando um evento de erro é acionado, qualquer promessa existente é rejeitada.

SpokestackConfig

Essas são as opções de configuração que podem ser passadas para Spokestack.initialize(_, _, spokestackConfig) . Não são necessárias opções no SpokestackConfig.

SpokestackConfig tem a seguinte estrutura:

 interface SpokestackConfig {
  /**
   * This option is only used when remote URLs are passed to fields such as `wakeword.filter`.
   *
   * Set this to true to allow downloading models over cellular.
   * Note that `Spokestack.initialize()` will still reject the promise if
   * models need to be downloaded but there is no network at all.
   *
   * Ideally, the app will include network handling itself and
   * inform the user about file downloads.
   *
   * Default: false
   */
  allowCellularDownloads ?: boolean
  /**
   * Wakeword, Keyword, and NLU model files are cached internally.
   * Set this to true whenever a model is changed
   * during development to refresh the internal model cache.
   *
   * This affects models passed with `require()` as well
   * as models downloaded from remote URLs.
   *
   * Default: true in dev mode, false otherwise
   *
   * **Important:** By default, apps in production will
   * cache models to avoid downloading them every time
   * the app is launched. The side-effect of this optimization
   * is that if models change on the CDN, apps will
   * not pick up those changes–unless the app were reinstalled.
   * We think this is a fair trade-off, but set this to `true`
   * if you prefer to download the models every time the app
   * is launched.
   */
  refreshModels ?: boolean
  /**
   * This controls the log level for the underlying native
   * iOS and Android libraries.
   * Also add a `"trace"` event listener to get trace events.
   * See the TraceLevel enum for values.
   */
  traceLevel ?: TraceLevel
  /**
   * Most of these options are advanced aside from "profile"
   */
  pipeline ?: PipelineConfig
  /** Only needed if using Spokestack.classify */
  nlu ?: NLUConfig
  /**
   * Only required for wakeword
   * Most options are advanced aside from
   * filter, encode, and decode for specifying config files.
   */
  wakeword ?: WakewordConfig
  /**
   * Only required for the keyword recognizer
   * Most options are advanced aside from
   * filter, encode, decode, metadata, and classes.
   */
  keyword ?: KeywordConfig
}

Tracelevel

Quanto registro para mostrar um número mais baixo significa mais logs.

• Debug = 10

Definido em

tipos.ts: 58

• Informações = 30

Definido em

tipos.ts: 60

• Nenhum = 100

Definido em

tipos.ts: 61

tipos.ts: 35

• Perfil Optional : PipelineProfile

Os perfis são coleções de configurações comuns para estágios de pipeline.

Se nenhum perfil for definido explicitamente, a porta -voz determina um perfil padrão sensato com base na configuração passada para a Spokestack.initialize() :

Se os arquivos de configuração do Wakeword estiverem definidos (e a configuração de palavras -chave não for), o padrão será definido como TFLITE_WAKEWORD_NATIVE_ASR .

Se os arquivos de configuração de palavras -chave forem definidas (e a configuração do Wakeword não for), o padrão será definido como VAD_KEYWORD_ASR .

Se os arquivos de configuração do WakeWord e do Keyword for definidos, o padrão será definido como TFLITE_WAKEWORD_KEYWORD .

Caso contrário, o padrão é PTT_NATIVE_ASR .

Definido em

tipos.ts: 139

amostragem

• Amostrado Optional : number

Taxa de amostragem de áudio, em Hz

Definido em

tipos.ts: 143

vadfalldelay

• Vadfalldelay Optional : number

tipos.ts: 175

NLU Config

Metadados

• Metadados : string | number

O arquivo JSON para os metadados da NLU. Se especificado, o modelo e o vocabulário também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por uma require ou import (por exemplo metadata: require('./metadata.sjson') ).

IMPORTANTE: Uma extensão especial é usada para os arquivos JSON de metadados locais ( .sjson ) ao usar require ou import para que o arquivo não seja analisado quando incluído, mas importado como um objeto de origem. Isso faz com que o arquivo seja lido e analisado pelas bibliotecas nativas subjacentes.

Definido em

tipos.ts: 223

modelo

• Modelo : string | number

O modelo NLU Tensorflow-Lite. Se especificado, metadados e vocabulário também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por um require ou import (por exemplo model: require('./nlu.tflite') ))

Definido em

TIPO.TS: 211

vocab

• Vocabro : string | number

Um arquivo txt que contém o vocabulário da NLU. Se especificado, o modelo e os metadados também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por um require ou import (por exemplo vocab: require('./vocab.txt') ))

Definido em

tipos.ts: 231

inputLength

• comprimento de entrada Optional : number

Definido em

tipos.ts: 244

Config Wakeword

detectar

• Detectar : string | number

O modelo "detectar" tensorflow-lite. Se especificado, filtrar e codificar também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por uma require ou import (por exemplo detect: require('./detect.tflite') ))

O modelo de codificação é usado para executar cada etapa autoregressiva sobre os quadros MEL; Suas entradas devem ser moldadas [comprimento Mel, Mel-Width] e suas saídas [largura de codificação], com uma entrada/saída de estado adicional em forma de [largura do estado]

Definido em

tipos.ts: 272

codificar

• Encodes : string | number

O modelo "codificar" tensorflow-lite. Se especificado, filtrar e detectar também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por um require ou import (por exemplo encode: require('./encode.tflite') ))

Suas entradas devem ser moldadas [comprimento de codificação, largura de codificação] e suas saídas

Definido em

tipos.ts: 283

filtro

• Filtro : string | number

O modelo "filtro" tensorflow-lite. Se especificado, detectar e codificar também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por um require ou import (por exemplo filter: require('./filter.tflite') ))

O modelo "detectar" tensorflow-lite. Se especificado, filtrar e codificar também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por uma require ou import (por exemplo detect: require('./detect.tflite') ))

Definido em

tipos.ts: 272

codificar

• Encodes : string | number

O modelo "codificar" tensorflow-lite. Se especificado, filtrar e detectar também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por um require ou import (por exemplo encode: require('./encode.tflite') ))

Suas entradas devem ser moldadas [comprimento de codificação, largura de codificação] e suas saídas

Definido em

tipos.ts: 283

filtro

• Filtro : string | number

O modelo "filtro" tensorflow-lite. Se especificado, detectar e codificar também são necessários.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por um require ou import (por exemplo filter: require('./filter.tflite') ))

O modelo de filtro é usado para calcular um quadro de espectrograma MEL a partir do STFT linear; Suas entradas devem ser moldadas [WFT-Width] e suas saídas [Mel-Width]

Definido em

TIPO.TS: 260

Os metadata ou classes são necessários e são mutuamente exclusivos.

Metadados

• Metadados : string | number

O arquivo JSON para metadados da palavra -chave. Exigido se keyword.classes não for especificada.

Este campo aceita 2 tipos de valores.

Uma string representando um URL remoto a partir do qual baixar e cache o arquivo (presumivelmente a partir de um CDN).
Um objeto de origem recuperado por uma require ou import (por exemplo metadata: require('./metadata.sjson') ).

Definido em

TIPO.TS: 424

classes

• Classes : string | string []

• FFTWindowType Optional : string

Apache-2.0

Expandir