react native spokestack Скачать - react native spokestack Source Code Скачать

Отреагируйте нативное спикест

Отрешите натуральный плагин для добавления голоса с помощью Spokestack. Это включает в себя распознавание речи, WakeWord и понимание естественного языка, а также синтезирование текста к речи с использованием Vokestack Voices.

Требования

Реагировать натив : 0,60,0+
Android : Android SDK 21+
iOS : iOS 13+

Установка

Используя NPM:

npm install --save react-native-spokestack

или используя пряжу:

yarn add react-native-spokestack

Затем следуйте инструкциям для каждой платформы, чтобы связать реагируемое явление на вашем проекте:

Установка iOS

Детали iOS

Установите цель развертывания

Во -первых, откройте Xcode и перейдите в Project -> Информация, чтобы установить цель развертывания iOS на 13,0 или выше.

Кроме того, установите развертывание на 13.0 в Target -> General -> Информация о развертывании.

Удалить неверный путь поиска библиотеки

Когда Flipper был введен для реагирования нативного, некоторые пути поиска библиотеки были установлены для Swift. Была давняя проблема с путями поиска по умолчанию в нативных проектах React, потому что для Swift 5.0 был добавлен путь поиска, что помешало любым другими нативными библиотеками React использовать API, доступные только в Swift 5.2 или более поздней версии. Spokestack-IOIS, зависимость от реагируемого явления, используя эти API, и Xcode не сможет построить.

К счастью, исправление довольно простое. Перейдите к своей цели -> Настройки сборки и поиск «Пути поиска библиотеки».

Удалить ""$(TOOLCHAIN_DIR)/usr/lib/swift-5.0/$(PLATFORM_NAME)"" из списка.

Редактировать Podfile

Перед запуском pod install , обязательно сделайте следующие изменения.

React-Con-Spokestack использует относительно новые API, доступные только в iOS 13+. Установите цель развертывания на iOS 13 в верхней части вашего подполкивания:

 platform :ios , '13.0'

Нам также нужно использовать use_frameworks! В нашем Podfile для поддержки зависимостей, написанных в Swift.

 target 'SpokestackExample' do
  use_frameworks!
  #...

На данный момент, use_frameworks! Не работает с Flipper, поэтому нам также нужно отключить Flipper. Удалите любые линии, связанные с флиппером, в вашем Podfile. В React Native 0,63,2+ они выглядят так:

  # X Remove or comment out these lines X
  # use_flipper!
  # post_install do |installer|
  #   flipper_post_install(installer)
  # end
  # XX

Ошибка в React Native 0,64,0 (должна быть зафиксирована в 0,64,1)

React Native 0.64.0 сломал любые проекты, используя use_frameworks! в их поборах.

Для получения дополнительной информации об этой ошибке см. Facebook/React-родной#31149.

Чтобы обезвредить эту проблему, добавьте следующее в свой Podfile:

 # Moves 'Generate Specs' build_phase to be first for FBReactNativeSpec
post_install do | installer |
  installer . pods_project . targets . each do | target |
    if ( target . name &. eql? ( 'FBReactNativeSpec' ) )
      target . build_phases . each do | build_phase |
        if ( build_phase . respond_to? ( :name ) && build_phase . name . eql? ( '[CP-User] Generate Specs' ) )
          target . build_phases . move ( build_phase , 0 )
        end
      end
    end
  end
end

POD установка

Удалите существующую папку Podfile.lock и Pods, чтобы обеспечить отсутствие конфликтов, затем установите стручки:

$ npx pod-install

Редактировать info.plist

Добавьте следующее в свой info.plist, чтобы разрешить разрешения.

< key >NSMicrophoneUsageDescription</ key >
< string >This app uses the microphone to hear voice commands</ string >
< key >NSSpeechRecognitionUsageDescription</ key >
< string >This app uses speech recognition to process voice commands</ string >

Удалить флиппер

В то время как Flipper работает над исправлением своей стручки для use_frameworks! , мы должны отключить флиппер. Мы уже удалили зависимости Flipper из стручков выше, но в appdelegate.m остается какой -то код, который импортирует Flipper. Есть два способа исправить это.

Вы можете отключить импорт Flipper, не удаляя код из AppDelegate. Для этого откройте свой файл XCWorkspace в XCode. Перейдите к своей цели, затем постройте настройки, найдите «C Flags», удалите -DFB_SONARKIT_ENABLED=1 из флагов.
Удалите весь код, связанный с флиппером, из вашего appdelegate.m.

В нашем примере примера мы сделали вариант 1 и оставили в коде Flipper, если они заработают его в будущем, и мы сможем добавить его обратно.

Редактировать Appdelegate.m

Добавить AvFoundation в импорт

# import < AVFoundation/AVFoundation.h >

Категория Audiosession

Установите категорию Audiosession. Есть несколько конфигураций, которые работают.

Ниже приводится предложение, которое должно соответствовать большинству вариантов использования:

- ( BOOL )application:(UIApplication *)application didFinishLaunchingWithOptions:( NSDictionary *)launchOptions
{
  AVAudioSession *session = [AVAudioSession sharedInstance ];
  [session setCategory: AVAudioSessionCategoryPlayAndRecord
     mode: AVAudioSessionModeDefault
  options: AVAudioSessionCategoryOptionDefaultToSpeaker | AVAudioSessionCategoryOptionAllowAirPlay | AVAudioSessionCategoryOptionAllowBluetoothA2DP | AVAudioSessionCategoryOptionAllowBluetooth
    error: nil ];
  [session setActive: YES error: nil ];

  // ...

Установка Android

Андоидные детали

Поддержка ASR

В примере использования используется предоставленная система ASRS ( AndroidSpeechRecognizer и AppleSpeechRecognizer ). Тем не менее, AndroidSpeechRecognizer недоступен на 100% устройств. Если ваше приложение поддерживает устройство, которое не имеет встроенного распознавания речи, вместо этого используйте Spokestack ASR, установив profile в профиль Spokestack, используя profile .

Смотрите нашу документацию ASR для получения дополнительной информации.

Редактировать root build.gradle ( не приложение/build.gradle)

 // ...
  ext {
    // Set the minimum SDK to 24.
    // React Native 0.64+ sets version 21.
    // If you prefer to leave the minimum SDK at 21,
    // another option is to set this to 21, but
    // also set android.enableDexingArtifactTransform=false
    // in your top-level gradle.properties.
    // See https://github.com/google/ExoPlayer/issues/6801#issuecomment-574089568
    minSdkVersion = 24
// ...
  dependencies {
    // Minimium gradle is 3.0.1+
    // The latest React Native already has this
    classpath( " com.android.tools.build:gradle:4.2.1 " )

Редактировать Androidmanifest.xml

Добавьте необходимые разрешения в свой AndroidManifest.xml . Первое разрешение часто уже есть. Второй необходим для использования микрофона.

    <!-- For TTS -->
    < uses-permission android : name = " android.permission.INTERNET " />
    <!-- For wakeword and ASR -->
    < uses-permission android : name = " android.permission.RECORD_AUDIO " />
    <!-- For ensuring no downloads happen over cellular, unless forced -->
    < uses-permission android : name = " android.permission.ACCESS_NETWORK_STATE " />

Запрос record_audio разрешение

Разрешение record_audio особенное в том смысле, что оно должно быть указано в AndroidManifest.xml , а также запрошен во время выполнения. Есть пара способов справиться с этим (React-C-Spokestack не делает этого для вас):

Рекомендуется добавить экран в свой адаптация, которая объясняет необходимость разрешений, используемых на каждой платформе (record_audio на Android и распознавание речи на iOS). Взгляните на реагирование-родственные промежутки, чтобы справиться с разрешениями более надежным.
Запросите разрешения только при необходимости, например, когда пользователь нажимает на кнопку «Прослушивание». Избегайте просить разрешения без контекста или без объяснения, почему это необходимо. Другими словами, мы не рекомендуем запрашивать разрешение на запуск приложения.

В то время как iOS будет автоматически разрабатывать диалоги разрешения для любых необходимых разрешений, вы должны сделать это вручную в Android.

React Native уже предоставляет для этого модуль. Смотрите React Native's Permissionsandroid для получения дополнительной информации.

Использование

Начните использовать Spokestack или проверить наши углубленные учебные пособия по ASR, NLU и TTS. Также обязательно посмотрите на кулинарную книгу для быстрых решений общих проблем.

Рабочее приложение приложение включено в это репо в example/ папке.

 import Spokestack from 'react-native-spokestack'
import { View , Button , Text } from 'react-native'

function App ( ) {
  const [ listening , setListening ] = useState ( false )

  const onActivate = ( ) => setListening ( true )
  const onDeactivate = ( ) => setListening ( false )
  const onRecognize = ( { transcript } ) => console . log ( transcript )

  useEffect ( ( ) => {
    Spokestack . addEventListener ( 'activate' , onActivate )
    Spokestack . addEventListener ( 'deactivate' , onDeactivate )
    Spokestack . addEventListener ( 'recognize' , onRecognize )
    Spokestack . initialize (
      process . env . SPOKESTACK_CLIENT_ID ,
      process . env . SPOKESTACK_CLIENT_SECRET
    )
      // This example starts the Spokestack pipeline immediately,
      // but it could be delayed until after onboarding or other
      // conditions have been met.
      . then ( Spokestack . start )

    return ( ) => {
      Spokestack . removeAllListeners ( )
    }
  } , [ ] )

  return (
    < View >
      < Button onClick = { ( ) => Spokestack . activate ( ) } title = "Listen" />
      < Text > { listening ? 'Listening...' : 'Idle' } </ Text >
    </ View >
  )
}

Включая модельные файлы в пакет приложения

Чтобы включить модельные файлы локально в ваше приложение (вместо того, чтобы загружать их из CDN), вам также необходимо добавить необходимые расширения, чтобы файлы могли быть включены Babel. Чтобы сделать это, отредактируйте свой metro.config.js .

 const defaults = require ( 'metro-config/src/defaults/defaults' )

module . exports = {
  resolver : {
    assetExts : defaults . assetExts . concat ( [ 'tflite' , 'txt' , 'sjson' ] )
  }
}

Затем включите файлы моделей, используя исходные объекты:

 Spokestack . initialize ( clientId , clientSecret , {
  wakeword : {
    filter : require ( './filter.tflite' ) ,
    detect : require ( './detect.tflite' ) ,
    encode : require ( './encode.tflite' )
  } ,
  nlu : {
    model : require ( './nlu.tflite' ) ,
    vocab : require ( './vocab.txt' ) ,
    // Be sure not to use "json" here.
    // We use a different extension (.sjson) so that the file is not
    // immediately parsed as json and instead
    // passes a require source object to Spokestack.
    // The special extension is only necessary for local files.
    metadata : require ( './metadata.sjson' )
  }
} )

Это не требуется. Пропустите удаленные URL -адреса к тем же параметрам конфигурации, и файлы будут загружены и кэшируются при первом вызове initialize .

Внося

См. Руководство по содействию, чтобы узнать, как внести свой вклад в репозиторий и рабочий процесс разработки.

Документация API

инициализировать

▸ Инициализация ( clientId , clientSecret , config? ): Promise void

Инициализировать речевой трубопровод; требуется для всех других методов.

Первые 2 арга - это ваши учетные данные Spokestack, доступные бесплатно от https://spokestack.io. Избегайте их жесткой кодировки в вашем приложении. В ваш код есть несколько способов включить переменные среды.

Использование Process.env: https://babeljs.io/docs/en/babel-plugin-transform-inline-environment-variables/

Использование локального файла .ENV, игнорируемого GIT: https://github.com/goatandsheep/react-native-dotenv https://github.com/luggit/react-native-config

См. SpokestackConfig для всех доступных вариантов.

example

 import Spokestack from 'react-native-spokestack'

// ...

await Spokestack . initialize ( process . env . CLIENT_ID , process . env . CLIENT_SECRET , {
  pipeline : {
    profile : Spokestack . PipelineProfile . PTT_NATIVE_ASR
  }
} )

Параметры

Имя	Тип
`clientId`	`string`
`clientSecret`	`string`
`config?`	`[SpokestackConfig](#SpokestackConfig)`

Возврат

Promise void

Определено в

index.ts: 64

разрушать

▸ Destroy (): Promise void

Уничтожает речевой трубопровод, устраняет всех слушателей и освобождает все ресурсы. Это может быть вызвано до повторного инициализации трубопровода. Хорошее место, чтобы назвать это в componentWillUnmount .

example

 componentWillUnmount ( ) {
  Spokestack . destroy ( )
}

Возврат

Promise void

Определено в

index.ts: 81

начинать

▸ Start (): Promise void

Начните речевой трубопровод. Речевой трубопровод начинается в состоянии deactivate .

example

 import Spokestack from 'react-native-spokestack`

// ...

Spokestack . initialize ( process . env . CLIENT_ID , process . env . CLIENT_SECRET )
  . then ( Spokestack . start )

Возврат

Promise void

Определено в

index.ts: 96

останавливаться

▸ Stop (): Promise void

Остановите речевой трубопровод. Это эффективно останавливает ASR, VAD и WakeWord.

example

 import Spokestack from 'react-native-spokestack`

// ...

await Spokestack . stop ( )

Возврат

Promise void

Определено в

index.ts: 110

активировать

▸ Activate (): Promise void

Вручную активируйте речевой трубопровод. Это необходимо при использовании PTT -профиля. Профили VAD также могут активировать ASR без необходимости назвать этот метод.

example

 import Spokestack from 'react-native-spokestack`

// ...

< Button title = "Listen" onClick = { ( ) => Spokestack . activate ( ) } />

Возврат

Promise void

Определено в

index.ts: 126

деактивировать

▸ Deactivate (): Promise void

Деактивировать речевой трубопровод. Если профиль включает WakeWord, трубопровод вернется к прослушиванию WakeWord. Если VAD активен, трубопровод может реактивировать без вызова Activate ().

example

 import Spokestack from 'react-native-spokestack`

// ...

< Button title = "Stop listening" onClick = { ( ) => Spokestack . deactivate ( ) } />

Возврат

Promise void

Определено в

index.ts: 142

синтезировать

▸ Synthesize ( input , format? voice? ): Promise string

Синтезируйте какой -то текст в речь возвращает Promise<string> с строкой, являющейся URL -адресом для воспроизводимого MPEG.

В настоящее время доступен только один бесплатный голос («демонстрация»). Голос может быть изменен, если вы создали пользовательский голос, используя учетную запись Maker Spokestack. Смотрите https://spokestack.io/pricing#maker.

example

 const url = await Spokestack . synthesize ( 'Hello world' )
play ( url )

Параметры

Имя	Тип
`input`	`string`
`format?`	`[TTSFormat](#TTSFormat)`
`voice?`	`string`

Возврат

Promise < string >

Определено в

index.ts: 158

говорить

▸ Говорите ( input , format? voice? ): Promise void

Синтезируйте немного текста в речь, а затем сразу же воспроизводите звук через аудиосистему по умолчанию. Обработка аудиосессии может стать очень сложной, и мы рекомендуем использовать библиотеку RN, ориентированную на аудио для чего -то большего, чем очень простого воспроизведения.

В настоящее время доступен только один бесплатный голос («демонстрация»).

example

 await Spokestack . speak ( 'Hello world' )

Параметры

Имя	Тип
`input`	`string`
`format?`	`[TTSFormat](#TTSFormat)`
`voice?`	`string`

Возврат

Promise void

Определено в

index.ts: 174

классифицировать

▸ Классифицируйте ( utterance ): Promise SpokestackNLUResult

Классифицируйте высказывание, используя модель Понимания естественного языка намерения/слота, передаваемой Spokestack.initialize (). См. Https://www.spokestack.io/docs/concepts/nlu для получения дополнительной информации.

example

 const result = await Spokestack . classify ( 'hello' )

// Here's what the result might look like,
// depending on the NLU model
console . log ( result . intent ) // launch

Параметры

Имя	Тип
`utterance`	`string`

Возврат

Promise SpokestackNLUResult

Определено в

index.ts: 190

Изинициализован

▸ ISinitialized (): Promise boolean

Возвращает, был ли Spokestack инициализирован

example

 console . log ( `isInitialized: ${ await Spokestack . isInitialized ( ) } ` )

Возврат

Promise boolean

Определено в

index.ts: 199

Isstarted

▸ isstarted (): Promise boolean

Возвращает, был ли начатый речевой трубопровод

example

 console . log ( `isStarted: ${ await Spokestack . isStarted ( ) } ` )

Возврат

Promise boolean

Определено в

index.ts: 208

Исактивирован

▸ ISactivated (): Promise boolean

Возвращает, активируется ли речевой трубопровод

example

 console . log ( `isActivated: ${ await Spokestack . isActivated ( ) } ` )

Возврат

Promise boolean

Определено в

index.ts: 217

Типы.ts: 117

Интерфейс: Spokestacknluslots

Индексируемый

▪ [Key: string ]: SpokestackNLUSlot

Типы.ts: 102

addEventListener

▸ addEventListener ( eventType , listener , context? ): EmitterSubscription

Приведите любое событие, испускаемое нативными библиотеками, см. События для списка всех доступных событий.

example

 useEffect ( ( ) => {
  const listener = Spokestack . addEventListener ( 'recognize' , onRecognize )
  // Unsubsribe by calling remove when components are unmounted
  return ( ) => {
    listener . remove ( )
  }
} , [ ] )

Параметры

Имя	Тип	Описание
`eventType`	`string`	Название события, на которое мы регистрируем слушателя
`listener`	( `event` : `any` ) => `void`	функция слушателя
`context?`	`Object`	контекст слушателя

Возврат

EmitterSubscription

Определено в

index.ts: 237

Удалить EventListener

▸ RemoveEventListener ( eventType , listener ): void

Удалить слушателя событий

example

 Spokestack . removeEventListener ( 'recognize' , onRecognize )

Параметры

Имя	Тип	Описание
`eventType`	`string`	Название события, чтобы излучать
`listener`	(... `args` : `any` []) => `any`	Функция для вызова, когда испускается указанное событие

Возврат

void

Определено в

index.ts: 253

Removealllisteners

▸ removealllisteners (): void

Удалить любых существующих слушателей

example

 Spokestack . removeAllListeners ( )

Возврат

void

Определено в

index.ts: 265

Ttsformat

Три формата поддерживаются при использовании Spokestack TTS. Сырой текст, SSML и речевая отметка. См. IPA ожидается при использовании SSML или речи.

• Speechmarkdown = 2

Определено в

Типы.ts: 73

• SSML = 1

Определено в

Типы.ts: 72

• Текст = 0

Определено в

Типы.ts: 71

События

Используйте addEventListener() , removeEventListener() и removeAllListeners() чтобы добавить и удалить обработчики событий. Все события доступны как в iOS, так и в Android.

Имя	Данные	Описание
распознавать	`{ transcript: string }`	Уволен всякий раз, когда распознавание речи успешно завершается.
partial_recognize	`{ transcript: string }`	Уволен всякий раз, когда транскрипт меняется во время распознавания речи.
начинать	`null`	Уволен, когда начинается речевой трубопровод (который начинает слушать WakeWord или начинает VAD).
останавливаться	`null`	Уволен, когда речевой трубопровод останавливается.
активировать	`null`	Выстрелил, когда речевой трубопровод активируется либо через VAD, WakeWord, либо при вызове `.activate()` .
деактивировать	`null`	Уволен, когда речевой трубопровод деактивирует.
играть	`{ playing: boolean }`	Уволен, когда воспроизведение TTS начинается и останавливается. Смотрите функцию `speak()` .
тайм -аут	`null`	Выстрелил, когда активный трубопровод выходит из -за отсутствия признания.
след	`{ message: string }`	Уволен для следов сообщений. Морская способность определяется опцией `traceLevel` .
ошибка	`{ error: string }`	Уволен, когда в Spokestack возникает ошибка.

Когда событие ошибки запускается, любые существующие обещания отклоняются.

SpokestackConfig

Это параметры конфигурации, которые могут быть переданы в Spokestack.initialize(_, _, spokestackConfig) . В SpokestackConfig не требуется вариантов.

SpokestackConfig имеет следующую структуру:

 interface SpokestackConfig {
  /**
   * This option is only used when remote URLs are passed to fields such as `wakeword.filter`.
   *
   * Set this to true to allow downloading models over cellular.
   * Note that `Spokestack.initialize()` will still reject the promise if
   * models need to be downloaded but there is no network at all.
   *
   * Ideally, the app will include network handling itself and
   * inform the user about file downloads.
   *
   * Default: false
   */
  allowCellularDownloads ?: boolean
  /**
   * Wakeword, Keyword, and NLU model files are cached internally.
   * Set this to true whenever a model is changed
   * during development to refresh the internal model cache.
   *
   * This affects models passed with `require()` as well
   * as models downloaded from remote URLs.
   *
   * Default: true in dev mode, false otherwise
   *
   * **Important:** By default, apps in production will
   * cache models to avoid downloading them every time
   * the app is launched. The side-effect of this optimization
   * is that if models change on the CDN, apps will
   * not pick up those changes–unless the app were reinstalled.
   * We think this is a fair trade-off, but set this to `true`
   * if you prefer to download the models every time the app
   * is launched.
   */
  refreshModels ?: boolean
  /**
   * This controls the log level for the underlying native
   * iOS and Android libraries.
   * Also add a `"trace"` event listener to get trace events.
   * See the TraceLevel enum for values.
   */
  traceLevel ?: TraceLevel
  /**
   * Most of these options are advanced aside from "profile"
   */
  pipeline ?: PipelineConfig
  /** Only needed if using Spokestack.classify */
  nlu ?: NLUConfig
  /**
   * Only required for wakeword
   * Most options are advanced aside from
   * filter, encode, and decode for specifying config files.
   */
  wakeword ?: WakewordConfig
  /**
   * Only required for the keyword recognizer
   * Most options are advanced aside from
   * filter, encode, decode, metadata, and classes.
   */
  keyword ?: KeywordConfig
}

Трасевель

Сколько журналов, чтобы показать более низкий номер, означает больше журналов.

• отладка = 10

Определено в

Типы.ts: 58

• Информация = 30

Определено в

Типы.ts: 60

• Нет = 100

Определено в

Типы.ts: 61

Типы.ts: 35

• Optional профиль : PipelineProfile

Профили представляют собой коллекции общих конфигураций для стадий трубопровода.

Если профиль не установлен явно, Spokestack определяет разумный профиль по умолчанию на основе конфигурации, передаваемого в Spokestack.initialize() :

Если файлы конфигурации WakeWord установлены (а конфигурация ключевых слов нет), по умолчанию будет установлено значение TFLITE_WAKEWORD_NATIVE_ASR .

Если файлы конфигурации ключевых слов установлены (а конфигурация WakeWord нет), по умолчанию будет установлено значение VAD_KEYWORD_ASR .

Если устанавливаются и файлы конфигурации WakeWord, и ключевые слова, по умолчанию будет установлено значение TFLITE_WAKEWORD_KEYWORD .

В противном случае по умолчанию PTT_NATIVE_ASR .

Определено в

Типы.ts: 139

пробег

• Optional пробел : number

Скорость выборки аудио, в Гц

Определено в

Типы.ts: 143

vadfalldelay

• Optional vadfalldelay : number

Типы.ts: 175

Nlu config

метаданные

• Метаданные : string | number

Файл JSON для метаданных NLU. Если указано, модель и словарь также требуются.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Исходный объект, полученный по require или import (например metadata: require('./metadata.sjson') ).

ВАЖНО: Специальное расширение используется для локальных файлов метаданных JSON ( .sjson ) при использовании require или import , поэтому файл не анализируется, если включен, а вместо этого импортируется в качестве исходного объекта. Это делает это так, чтобы файл читается и анализируется базовыми местными библиотеками вместо этого.

Определено в

Типы.ts: 223

модель

• Модель : string | number

Модель NLU Tensorflow-Lite. Если указано, также требуются метаданные и словарь.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Исходный объект, полученный по require или import (например, model: require('./nlu.tflite') )

Определено в

Типы.ts: 211

слока

• Vocab : string | number

TXT -файл, содержащий словарь NLU. Если указано, модель и метаданные также требуются.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Источник объекта, полученный с помощью require или import (например vocab: require('./vocab.txt') ))

Определено в

Типы.ts: 231

inputLength

• Optional длина inputLength : number

Определено в

Типы.ts: 244

WakeWord Config

обнаруживать

• Обнаружение : string | number

Модель «обнаружить» Tensorflow-Lite. Если указано, также требуются фильтр и кодирование.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Объект источника, полученный по require или import (например, detect: require('./detect.tflite') )

Модель Encode используется для выполнения каждого авторегрессивного шага над кадрами MEL; Его входы должны быть формированы [мель длиной, мель-ширина] и его выходы [ширина ENCODE] с дополнительным входом/выводом ввода в вводе/выводе [ширина состояния] [ширина состояния]

Определено в

Типы.ts: 272

кодировать

• Encode : string | number

Модель «Кодировать» Tensorflow-Lite. Если указано, фильтр и обнаружение также требуются.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Объект источника, полученный по require или import (например encode: require('./encode.tflite') )

Его входы должны быть формированы [длина кода, ширина Encode] и его выходы

Определено в

Типы.ts: 283

фильтр

• Фильтр : string | number

Модель «фильтра» Tensorflow-Lite. Если указано, также требуется обнаружение и код.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Исходный объект, полученный по require или import (например, filter: require('./filter.tflite') ))

Модель «обнаружить» Tensorflow-Lite. Если указано, также требуются фильтр и кодирование.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Объект источника, полученный по require или import (например, detect: require('./detect.tflite') )

Определено в

Типы.ts: 272

кодировать

• Encode : string | number

Модель «Кодировать» Tensorflow-Lite. Если указано, фильтр и обнаружение также требуются.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Объект источника, полученный по require или import (например encode: require('./encode.tflite') )

Его входы должны быть формированы [длина кода, ширина Encode] и его выходы

Определено в

Типы.ts: 283

фильтр

• Фильтр : string | number

Модель «фильтра» Tensorflow-Lite. Если указано, также требуется обнаружение и код.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Исходный объект, полученный по require или import (например, filter: require('./filter.tflite') ))

Определено в

Типы.ts: 260

Требуются либо metadata , либо classes , и они взаимоисключающие.

метаданные

• Метаданные : string | number

Файл JSON для метаданных ключевых слов. Требуется, если keyword.classes не указан.

Это поле принимает 2 типа значений.

Строка, представляющая удаленный URL, с которого можно загрузить и кэшировать файл (предположительно из CDN).
Исходный объект, полученный по require или import (например metadata: require('./metadata.sjson') ).

Определено в

Типы.ts: 424

классы

• Классы : string | string []

• Optional FFTWindowType : string

Apache-2.0

Расширять