react native spokestack Download - react native spokestack Source Code Download

React Spokestack indigène

React Plugin natif pour ajouter la voix à l'aide de Spokestack. Cela comprend la reconnaissance de la parole, le wakeword et la compréhension du langage naturel, ainsi que la synthèse du texte à la parole à l'aide de voix de spokestack.

Exigences

React natif : 0,60,0+
Android : Android SDK 21+
iOS : iOS 13+

Installation

Utilisation de NPM:

npm install --save react-native-spokestack

ou en utilisant du fil:

yarn add react-native-spokestack

Suivez ensuite les instructions pour chaque plate-forme afin de relier React-Native-Spokestack à votre projet:

Installation iOS

Détails iOS

Définir l'objectif de déploiement

Tout d'abord, ouvrez Xcode et allez dans Project -> Info pour définir l'objectif de déploiement iOS à 13,0 ou plus.

Définissez également le déploiement sur 13.0 sous Target -> Général -> Informations de déploiement.

Supprimer le chemin de recherche de la bibliothèque non valide

Lorsque Flipper a été initié à React Native, certains chemins de recherche de bibliothèque ont été définis pour Swift. Il y a eu un problème de longue date avec les chemins de recherche par défaut dans les projets natifs React, car un chemin de recherche a été ajouté pour Swift 5.0 qui a empêché toute autre bibliothèque native React d'utiliser les API disponibles uniquement dans SWIFT 5.2 ou ultérieure. SpokeStack-IOS, une dépendance de React-Native-Spokestack utilise ces API et Xcode ne parviendra pas à construire.

Heureusement, le correctif est assez simple. Accédez à votre cible -> Créer des paramètres et recherchez des "chemins de recherche de bibliothèque".

Supprimez ""$(TOOLCHAIN_DIR)/usr/lib/swift-5.0/$(PLATFORM_NAME)"" de la liste.

Modifier le podfile

Avant d'exécuter pod install , assurez-vous de faire les modifications suivantes.

React-Native-Spokestack utilise des API relativement nouvelles uniquement disponibles dans iOS 13+. Réglez l'objectif de déploiement sur iOS 13 en haut de votre podfile:

 platform :ios , '13.0'

Nous devons également utiliser use_frameworks! dans notre podfile afin de soutenir les dépendances écrites dans Swift.

 target 'SpokestackExample' do
  use_frameworks!
  #...

Pour l'instant, use_frameworks! Ne fonctionne pas avec les flipper, nous devons donc également désactiver les flipper. Retirez toutes les lignes liées aux flipper dans votre podfile. Dans React Native 0.63.2+, ils ressemblent à ceci:

  # X Remove or comment out these lines X
  # use_flipper!
  # post_install do |installer|
  #   flipper_post_install(installer)
  # end
  # XX

Bogue dans React Native 0.64.0 (doit être corrigé dans 0,64,1)

React Native 0.64.0 a cassé tous les projets utilisant use_frameworks! dans leurs podfiles.

Pour plus d'informations sur ce bogue, voir Facebook / React-Native # 31149.

Pour contourner ce problème, ajoutez ce qui suit à votre podfile:

 # Moves 'Generate Specs' build_phase to be first for FBReactNativeSpec
post_install do | installer |
  installer . pods_project . targets . each do | target |
    if ( target . name &. eql? ( 'FBReactNativeSpec' ) )
      target . build_phases . each do | build_phase |
        if ( build_phase . respond_to? ( :name ) && build_phase . name . eql? ( '[CP-User] Generate Specs' ) )
          target . build_phases . move ( build_phase , 0 )
        end
      end
    end
  end
end

installer

Retirez votre dossier PodFile.loc et pods existant pour assurer aucun conflit, puis installez les pods:

$ npx pod-install

Modifier info.plist

Ajoutez ce qui suit à votre info.plist pour activer les autorisations.

< key >NSMicrophoneUsageDescription</ key >
< string >This app uses the microphone to hear voice commands</ string >
< key >NSSpeechRecognitionUsageDescription</ key >
< string >This app uses speech recognition to process voice commands</ string >

Retirer les flipper

Tandis que Flipper travaille sur la réparation de leur pod pour use_frameworks! , nous devons désactiver les flipper. Nous avons déjà supprimé les dépendances des flipper des pods ci-dessus, mais il reste un code dans appdelegate.m qui importe des flipper. Il y a deux façons de résoudre ce problème.

Vous pouvez désactiver les importations de flipper sans supprimer aucun code de l'AppDelegate. Pour ce faire, ouvrez votre fichier XCWorkspace dans Xcode. Accédez à votre cible, puis construisez les paramètres, recherchez "c drapeau", supprimez -DFB_SONARKIT_ENABLED=1 des drapeaux.
Supprimez tout le code lié aux flipper de votre appdelegate.m.

Dans notre exemple d'application, nous avons fait l'option 1 et nous sommes partis dans le code Flipper au cas où ils fonctionnent à l'avenir et nous pouvons l'ajouter.

Modifier appdelegate.m

Ajouter AvFoundation aux importations

# import < AVFoundation/AVFoundation.h >

Catégorie d'audio

Définissez la catégorie Audiossession. Il existe plusieurs configurations qui fonctionnent.

Ce qui suit est une suggestion qui devrait s'adapter à la plupart des cas d'utilisation:

- ( BOOL )application:(UIApplication *)application didFinishLaunchingWithOptions:( NSDictionary *)launchOptions
{
  AVAudioSession *session = [AVAudioSession sharedInstance ];
  [session setCategory: AVAudioSessionCategoryPlayAndRecord
     mode: AVAudioSessionModeDefault
  options: AVAudioSessionCategoryOptionDefaultToSpeaker | AVAudioSessionCategoryOptionAllowAirPlay | AVAudioSessionCategoryOptionAllowBluetoothA2DP | AVAudioSessionCategoryOptionAllowBluetooth
    error: nil ];
  [session setActive: YES error: nil ];

  // ...

Installation d'Android

Détails Android

Support ASR

L'utilisation de l'exemple utilise les ASR fournies par le système ( AndroidSpeechRecognizer et AppleSpeechRecognizer ). Cependant, AndroidSpeechRecognizer n'est pas disponible sur 100% des appareils. Si votre application prend en charge un appareil qui n'a pas de reconnaissance vocale intégrée, utilisez à la place SpokeStack ASR en définissant le profile sur un profil Spokestack à l'aide de l'hélice profile .

Voir notre documentation ASR pour plus d'informations.

Éditer root build.gradle ( pas app / build.gradle)

 // ...
  ext {
    // Set the minimum SDK to 24.
    // React Native 0.64+ sets version 21.
    // If you prefer to leave the minimum SDK at 21,
    // another option is to set this to 21, but
    // also set android.enableDexingArtifactTransform=false
    // in your top-level gradle.properties.
    // See https://github.com/google/ExoPlayer/issues/6801#issuecomment-574089568
    minSdkVersion = 24
// ...
  dependencies {
    // Minimium gradle is 3.0.1+
    // The latest React Native already has this
    classpath( " com.android.tools.build:gradle:4.2.1 " )

Modifier AndroidManifest.xml

Ajoutez les autorisations nécessaires à votre AndroidManifest.xml . La première autorisation est déjà là déjà. La seconde est nécessaire pour utiliser le microphone.

    <!-- For TTS -->
    < uses-permission android : name = " android.permission.INTERNET " />
    <!-- For wakeword and ASR -->
    < uses-permission android : name = " android.permission.RECORD_AUDIO " />
    <!-- For ensuring no downloads happen over cellular, unless forced -->
    < uses-permission android : name = " android.permission.ACCESS_NETWORK_STATE " />

Demande Record_Audio Autorisation

L'autorisation Record_Audio est spéciale en ce qu'elle doit être à la fois répertoriée dans AndroidManifest.xml ainsi que demandée au moment de l'exécution. Il y a quelques façons de gérer cela (React-Native-Spokestack ne fait pas cela pour vous):

Recommandé Ajouter un écran à votre intégration qui explique la nécessité des autorisations utilisées sur chaque plate-forme (Record_Audio sur Android et la reconnaissance vocale sur iOS). Jetez un œil à React-Native-Permissions pour gérer les autorisations de manière plus robuste.
Demandez les autorisations uniquement en cas de besoin, comme lorsqu'un utilisateur puise sur un bouton "Écouter". Évitez de demander la permission sans contexte ou sans expliquer pourquoi il est nécessaire. En d'autres termes, nous ne recommandons pas de demander la permission du lancement de l'application.

Bien que iOS affichera automatiquement les boîtes de dialogue des autorisations pour toutes les autorisations nécessaires, vous devez le faire manuellement dans Android.

React Native fournit déjà un module pour cela. Voir les autorisations de React Native pour plus d'informations.

Usage

Commencez à utiliser Spokestack ou consultez nos tutoriels approfondis sur ASR, NLU et TTS. Assurez-vous également de jeter un œil au livre de cuisine pour des solutions rapides aux problèmes courants.

Une application d'exemple de travail est incluse dans ce dépôt dans l' example/ dossier.

 import Spokestack from 'react-native-spokestack'
import { View , Button , Text } from 'react-native'

function App ( ) {
  const [ listening , setListening ] = useState ( false )

  const onActivate = ( ) => setListening ( true )
  const onDeactivate = ( ) => setListening ( false )
  const onRecognize = ( { transcript } ) => console . log ( transcript )

  useEffect ( ( ) => {
    Spokestack . addEventListener ( 'activate' , onActivate )
    Spokestack . addEventListener ( 'deactivate' , onDeactivate )
    Spokestack . addEventListener ( 'recognize' , onRecognize )
    Spokestack . initialize (
      process . env . SPOKESTACK_CLIENT_ID ,
      process . env . SPOKESTACK_CLIENT_SECRET
    )
      // This example starts the Spokestack pipeline immediately,
      // but it could be delayed until after onboarding or other
      // conditions have been met.
      . then ( Spokestack . start )

    return ( ) => {
      Spokestack . removeAllListeners ( )
    }
  } , [ ] )

  return (
    < View >
      < Button onClick = { ( ) => Spokestack . activate ( ) } title = "Listen" />
      < Text > { listening ? 'Listening...' : 'Idle' } </ Text >
    </ View >
  )
}

Y compris les fichiers de modèle dans votre pack d'applications

Pour inclure des fichiers de modèle localement dans votre application (plutôt que de les télécharger à partir d'un CDN), vous devez également ajouter les extensions nécessaires afin que les fichiers puissent être inclus par Babel. Pour ce faire, modifiez votre metro.config.js .

 const defaults = require ( 'metro-config/src/defaults/defaults' )

module . exports = {
  resolver : {
    assetExts : defaults . assetExts . concat ( [ 'tflite' , 'txt' , 'sjson' ] )
  }
}

Incluez ensuite les fichiers du modèle à l'aide d'objets source:

 Spokestack . initialize ( clientId , clientSecret , {
  wakeword : {
    filter : require ( './filter.tflite' ) ,
    detect : require ( './detect.tflite' ) ,
    encode : require ( './encode.tflite' )
  } ,
  nlu : {
    model : require ( './nlu.tflite' ) ,
    vocab : require ( './vocab.txt' ) ,
    // Be sure not to use "json" here.
    // We use a different extension (.sjson) so that the file is not
    // immediately parsed as json and instead
    // passes a require source object to Spokestack.
    // The special extension is only necessary for local files.
    metadata : require ( './metadata.sjson' )
  }
} )

Ce n'est pas nécessaire. Passez les URL distantes aux mêmes options de configuration et les fichiers seront téléchargés et mis en cache lors de l'appel pour la première fois initialize .

Contributif

Voir le guide contribuant pour apprendre à contribuer au référentiel et au flux de travail de développement.

Documentation API

initialiser

▸ Initialiser ( clientId , clientSecret , config? ): Promise void

Initialiser le pipeline de la parole; requis pour toutes les autres méthodes.

Les 2 premiers args sont vos informations d'identification Spokestack disponibles gratuitement sur https://spokestack.io. Évitez les codages en dur dans votre application. Il existe plusieurs façons d'inclure des variables d'environnement dans votre code.

Utilisation de processus.env: https://babeljs.io/docs/en/babel-plugin-transform-inline-environment-variables/

Utilisation d'un fichier .env local ignoré par Git: https://github.com/goatandsheep/react-native-dotenv https://github.com/luggit/react-native-config

Voir SpokestackConfig pour toutes les options disponibles.

example

 import Spokestack from 'react-native-spokestack'

// ...

await Spokestack . initialize ( process . env . CLIENT_ID , process . env . CLIENT_SECRET , {
  pipeline : {
    profile : Spokestack . PipelineProfile . PTT_NATIVE_ASR
  }
} )

Paramètres

Nom	Taper
`clientId`	`string`
`clientSecret`	`string`
`config?`	`[SpokestackConfig](#SpokestackConfig)`

Rendements

Promise void

Défini dans

index.ts: 64

détruire

▸ détruire (): Promise void

Détruit le pipeline de discours, supprime tous les auditeurs et libère toutes les ressources. Cela peut être appelé avant de réinitialiser le pipeline. Un bon endroit pour l'appeler est dans componentWillUnmount .

example

 componentWillUnmount ( ) {
  Spokestack . destroy ( )
}

Rendements

Promise void

Défini dans

index.ts: 81

commencer

▸ start (): Promise void

Démarrez le pipeline de la parole. Le pipeline de discours commence dans l'état deactivate .

example

 import Spokestack from 'react-native-spokestack`

// ...

Spokestack . initialize ( process . env . CLIENT_ID , process . env . CLIENT_SECRET )
  . then ( Spokestack . start )

Rendements

Promise void

Défini dans

index.ts: 96

arrêt

▸ stop (): Promise void

Arrêtez le pipeline de discours. Cela arrête efficacement ASR, VAD et Wakeword.

example

 import Spokestack from 'react-native-spokestack`

// ...

await Spokestack . stop ( )

Rendements

Promise void

Défini dans

index.ts: 110

activer

▸ activer (): Promise void

Activer manuellement le pipeline de la parole. Ceci est nécessaire lors de l'utilisation d'un profil PTT. Les profils VAD peuvent également activer ASR sans avoir besoin d'appeler cette méthode.

example

 import Spokestack from 'react-native-spokestack`

// ...

< Button title = "Listen" onClick = { ( ) => Spokestack . activate ( ) } />

Rendements

Promise void

Défini dans

index.ts: 126

désactiver

▸ désactiver (): Promise void

Désactiver le pipeline de discours. Si le profil comprend Wakeword, le pipeline reviendra à l'écoute du wakeword. Si la VAD est active, le pipeline peut réactiver sans appeler Activate ().

example

 import Spokestack from 'react-native-spokestack`

// ...

< Button title = "Stop listening" onClick = { ( ) => Spokestack . deactivate ( ) } />

Rendements

Promise void

Défini dans

index.ts: 142

synthétiser

▸ synthétiser ( input , format? , voice? ): Promise string

Synthétisez un peu de texte dans des rendements de la parole Promise<string> avec la chaîne étant l'URL d'un MPEG jouable.

Il n'y a actuellement qu'une seule voix gratuite disponible ("démo"). La voix peut être modifiée si vous avez créé une voix personnalisée à l'aide d'un compte Spokestack Maker. Voir https://spokestack.io/pricing#maker.

example

 const url = await Spokestack . synthesize ( 'Hello world' )
play ( url )

Paramètres

Nom	Taper
`input`	`string`
`format?`	`[TTSFormat](#TTSFormat)`
`voice?`	`string`

Rendements

Promise string

Défini dans

index.ts: 158

parler

▸ parler ( input , format? , voice? ): Promise void

Synthétisez un peu de texte dans la parole, puis lisez immédiatement l'audio via le système audio par défaut. La gestion de session audio peut devenir très complexe et nous vous recommandons d'utiliser une bibliothèque RN axée sur l'audio pour quelque chose de plus que la lecture très simple.

Il n'y a actuellement qu'une seule voix gratuite disponible ("démo").

example

 await Spokestack . speak ( 'Hello world' )

Paramètres

Nom	Taper
`input`	`string`
`format?`	`[TTSFormat](#TTSFormat)`
`voice?`	`string`

Rendements

Promise void

Défini dans

index.ts: 174

classer

▸ Classifier ( utterance ): Promise SpokestackNLUResult

Classifier l'énoncé à l'aide du modèle de compréhension du langage naturel d'intention / machine à sous adopté à Spokestack.Initialize (). Voir https://www.spokestack.io/docs/concepts/nlu pour plus d'informations.

example

 const result = await Spokestack . classify ( 'hello' )

// Here's what the result might look like,
// depending on the NLU model
console . log ( result . intent ) // launch

Paramètres

Nom	Taper
`utterance`	`string`

Rendements

Promise SpokestackNLUResult

Défini dans

index.ts: 190

isinitialisé

▸ isInitialized (): Promise boolean

Renvoie si le spokestack a été initialisé

example

 console . log ( `isInitialized: ${ await Spokestack . isInitialized ( ) } ` )

Rendements

Promise boolean

Défini dans

index.ts: 199

islété

▸ isStarted (): Promise boolean

Renvoie si le pipeline de discours a été démarré

example

 console . log ( `isStarted: ${ await Spokestack . isStarted ( ) } ` )

Rendements

Promise boolean

Défini dans

index.ts: 208

isactivé

▸ Isactivated (): Promise boolean

Renvoie si le pipeline de discours est actuellement activé

example

 console . log ( `isActivated: ${ await Spokestack . isActivated ( ) } ` )

Rendements

Promise boolean

Défini dans

index.ts: 217

Types.ts: 117

Interface: spokestacknluslots

Indexable

▪ [Clé: string ]: SpokestackNLUSlot

Types.ts: 102

addEventListener

▸ AddeventListener ( eventType , listener , context? ): EmitterSubscription

Ligner à tout événement émis par les bibliothèques natives Voir les événements pour une liste de tous les événements disponibles.

example

 useEffect ( ( ) => {
  const listener = Spokestack . addEventListener ( 'recognize' , onRecognize )
  // Unsubsribe by calling remove when components are unmounted
  return ( ) => {
    listener . remove ( )
  }
} , [ ] )

Paramètres

Nom	Taper	Description
`eventType`	`string`	Nom de l'événement pour lequel nous enregistrons l'auditeur
`listener`	( `event` : `any` ) => `void`	La fonction de l'auditeur
`context?`	`Object`	contexte de l'auditeur

Rendements

EmitterSubscription

Défini dans

index.ts: 237

retireeventListener

▸ REVOPEVEventListener ( eventType , listener ): void

Supprimer un écouteur d'événements

example

 Spokestack . removeEventListener ( 'recognize' , onRecognize )

Paramètres

Nom	Taper	Description
`eventType`	`string`	Nom de l'événement à émettre
`listener`	(... `args` : `any` []) => `any`	Fonction à invoquer lorsque l'événement spécifié est émis

Rendements

void

Défini dans

index.ts: 253

removialllisteners

▸ RemovealLListeners (): void

Supprimer tous les auditeurs existants

example

 Spokestack . removeAllListeners ( )

Rendements

void

Défini dans

index.ts: 265

Ttsformat

Trois formats sont pris en charge lors de l'utilisation de Spokestack TTS. Texte brut, SSML et marque de discours. Voir https://www.speechmarkdown.org/ Si ce n'est pas familier avec la marque de la parole. L'IPA est attendu lors de l'utilisation de SSML ou de marque de discours.

• Speechmarkdown = 2

Défini dans

Types.ts: 73

• ssml = 1

Défini dans

Types.ts: 72

• Texte = 0

Défini dans

Types.ts: 71

Événements

Utilisez addEventListener() , removeEventListener() et removeAllListeners() pour ajouter et supprimer les gestionnaires d'événements. Tous les événements sont disponibles dans iOS et Android.

Nom	Données	Description
reconnaître	`{ transcript: string }`	Tiré chaque fois que la reconnaissance de la parole se termine avec succès.
partial_recognise	`{ transcript: string }`	Tiré chaque fois que la transcription change pendant la reconnaissance vocale.
commencer	`null`	Tiré lorsque le pipeline de la parole commence (qui commence à écouter le wakeword ou commence VAD).
arrêt	`null`	Tiré lorsque le pipeline de discours s'arrête.
activer	`null`	Tiré lorsque le pipeline de la parole s'active, soit via le VAD, Wakeword, soit lors de l'appel `.activate()` .
désactiver	`null`	Tiré lorsque le pipeline de discours désactive.
jouer	`{ playing: boolean }`	Tiré lorsque la lecture TTS commence et s'arrête. Voir la fonction `speak()` .
temps mort	`null`	Tiré lorsqu'un pipeline actif époque le manque de reconnaissance.
tracer	`{ message: string }`	Tiré pour les messages de trace. La verbosité est déterminée par l'option `traceLevel` .
erreur	`{ error: string }`	Tiré lorsqu'il y a une erreur dans Spokestack.

Lorsqu'un événement d'erreur est déclenché, toutes les promesses existantes sont rejetées.

Spokestackconfig

Ce sont les options de configuration qui peuvent être transmises à Spokestack.initialize(_, _, spokestackConfig) . Aucune option dans SpokestackConfig n'est requise.

SpokestackConfig a la structure suivante:

 interface SpokestackConfig {
  /**
   * This option is only used when remote URLs are passed to fields such as `wakeword.filter`.
   *
   * Set this to true to allow downloading models over cellular.
   * Note that `Spokestack.initialize()` will still reject the promise if
   * models need to be downloaded but there is no network at all.
   *
   * Ideally, the app will include network handling itself and
   * inform the user about file downloads.
   *
   * Default: false
   */
  allowCellularDownloads ?: boolean
  /**
   * Wakeword, Keyword, and NLU model files are cached internally.
   * Set this to true whenever a model is changed
   * during development to refresh the internal model cache.
   *
   * This affects models passed with `require()` as well
   * as models downloaded from remote URLs.
   *
   * Default: true in dev mode, false otherwise
   *
   * **Important:** By default, apps in production will
   * cache models to avoid downloading them every time
   * the app is launched. The side-effect of this optimization
   * is that if models change on the CDN, apps will
   * not pick up those changes–unless the app were reinstalled.
   * We think this is a fair trade-off, but set this to `true`
   * if you prefer to download the models every time the app
   * is launched.
   */
  refreshModels ?: boolean
  /**
   * This controls the log level for the underlying native
   * iOS and Android libraries.
   * Also add a `"trace"` event listener to get trace events.
   * See the TraceLevel enum for values.
   */
  traceLevel ?: TraceLevel
  /**
   * Most of these options are advanced aside from "profile"
   */
  pipeline ?: PipelineConfig
  /** Only needed if using Spokestack.classify */
  nlu ?: NLUConfig
  /**
   * Only required for wakeword
   * Most options are advanced aside from
   * filter, encode, and decode for specifying config files.
   */
  wakeword ?: WakewordConfig
  /**
   * Only required for the keyword recognizer
   * Most options are advanced aside from
   * filter, encode, decode, metadata, and classes.
   */
  keyword ?: KeywordConfig
}

Dépassement

La quantité de journalisation pour afficher un nombre inférieur signifie plus de journaux.

• Debug = 10

Défini dans

Types.ts: 58

• info = 30

Défini dans

Types.ts: 60

• Aucun = 100

Défini dans

Types.ts: 61

types.ts: 35

• Profil Optional : PipelineProfile

Les profils sont des collections de configurations communes pour les étapes de pipeline.

Si aucun profil n'est défini explicitement, SpokeStack détermine un profil par défaut sensible basé sur la configuration transmise à Spokestack.initialize() :

Si les fichiers de configuration de wakeword sont définis (et la configuration du mot-clé n'est pas), la valeur par défaut sera définie sur TFLITE_WAKEWORD_NATIVE_ASR .

Si les fichiers de configuration de mots clés sont définis (et la configuration de Wakeword ne l'est pas), la valeur par défaut sera définie sur VAD_KEYWORD_ASR .

Si les fichiers Wakeword et Keyword Config sont définis, la valeur par défaut sera définie sur TFLITE_WAKEWORD_KEYWORD .

Sinon, la valeur par défaut est PTT_NATIVE_ASR .

Défini dans

Types.ts: 139

samplérer

• Samplerate Optional : number

Taux d'échantillonnage audio, en Hz

Défini dans

types.ts: 143

vadfalldelay

• VADFalldelay en Optional : number

types.ts: 175

NLU Config

métadonnées

• Métadonnées : string | number

Le fichier JSON pour les métadonnées NLU. Si elle est spécifiée, le modèle et le vocab sont également nécessaires.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple metadata: require('./metadata.sjson') ).

IMPORTANT: Une extension spéciale est utilisée pour les fichiers JSON de métadonnées locaux ( .sjson ) lors de l'utilisation require ou import afin que le fichier ne soit pas analysé lorsqu'il est inclus mais importé comme objet source. Cela fait que le fichier est lu et analysé par les bibliothèques natives sous-jacentes à la place.

Défini dans

types.ts: 223

modèle

• Modèle : string | number

Le modèle NLU TensorFlow-Lite. Si elles sont spécifiées, des métadonnées et du vocabulaire sont également nécessaires.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple model: require('./nlu.tflite') ))

Défini dans

Types.ts: 211

vocab

• Vocable : string | number

Un fichier txt contenant le vocabulaire NLU. S'il est spécifié, le modèle et les métadonnées sont également nécessaires.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple vocab: require('./vocab.txt') ))

Défini dans

Types.ts: 231

inputLength

• number de InputLength en Optional

Défini dans

Types.ts: 244

Configuration de wakeword

détecter

• détecter : string | number

Le modèle "détecter" TensorFlow-Lite. S'il est spécifié, un filtre et un encodage sont également nécessaires.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple detect: require('./detect.tflite') ))

Le modèle d'encodage est utilisé pour effectuer chaque étape autorégressive sur les trames MEL; Ses entrées doivent être façonnées [Mel-Length, Mel-Width], et ses sorties [encodage-largeur], avec une entrée / sortie d'état supplémentaire en forme [largeur d'état]

Défini dans

types.ts: 272

encoder

• Encoder : string | number

Le modèle "encoder" TensorFlow-Lite. S'il est spécifié, le filtre et la détection sont également nécessaires.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple encode: require('./encode.tflite') ))

Ses entrées doivent être façonnées [la longueur d'encodage, la largeur d'encodage], et ses sorties

Défini dans

types.ts: 283

filtre

• Filtre : string | number

Le modèle "filtre" TensorFlow-Lite. S'il est spécifié, de détecter et d'encoder est également requis.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple filter: require('./filter.tflite') ))

Le modèle "détecter" TensorFlow-Lite. S'il est spécifié, un filtre et un encodage sont également nécessaires.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple detect: require('./detect.tflite') ))

Défini dans

types.ts: 272

encoder

• Encoder : string | number

Le modèle "encoder" TensorFlow-Lite. S'il est spécifié, le filtre et la détection sont également nécessaires.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple encode: require('./encode.tflite') ))

Ses entrées doivent être façonnées [la longueur d'encodage, la largeur d'encodage], et ses sorties

Défini dans

types.ts: 283

filtre

• Filtre : string | number

Le modèle "filtre" TensorFlow-Lite. S'il est spécifié, de détecter et d'encoder est également requis.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple filter: require('./filter.tflite') ))

Le modèle de filtre est utilisé pour calculer un cadre de spectrogramme MEL à partir du STFT linéaire; Ses entrées doivent être façonnées [largeur FFT] et ses sorties [largeur de Mel]

Défini dans

Types.ts: 260

Des metadata ou classes sont nécessaires, et ils s'excluent mutuellement.

métadonnées

• Métadonnées : string | number

Le fichier JSON pour les métadonnées des mots clés. Requis si keyword.classes n'est pas spécifiée.

Ce champ accepte 2 types de valeurs.

Une chaîne représentant une URL distante à partir de laquelle télécharger et mettre en cache le fichier (vraisemblablement à partir d'un CDN).
Un objet source récupéré par un require ou import (par exemple metadata: require('./metadata.sjson') ).

Défini dans

Types.ts: 424

classes

• Classes : string | string []

• FFTWindowType Optional : string

Apache-2.0

Développer