com.rest.elevenlabs下载com.rest.elevenlabs源代码下载

com.rest.elevenlabs

一个非官方的Elevenlabs语音综合统一游戏引擎的RESTFULS客户端。

基于Elevenlabs-Dotnet

我不隶属于Elevenlabs，需要具有API访问的帐户。

所有版权，商标，徽标和资产都是其各自所有者的财产。

安装

需要统一2021.3 LT或更高。

推荐的安装方法是Unity软件包管理器和OpenUPM。

通过Unity Package Manager和OpenUPM

打开您的Unity项目设置
选择Package Manager
添加OpenUPM软件包注册表：
- 名称： OpenUPM
- URL： https://package.openupm.com
- 范围：
  - com.rest.elevenlabs
  - com.utilities
打开Unity软件包管理器窗口
将注册表从团结更改为My Registries
添加ElevenLabs包

通过Unity软件包经理和Git URL

打开您的Unity软件包经理
添加来自git URL的软件包： https://github.com/RageAgainstThePixel/com.rest.elevenlabs.git#upm
注意：此存储库对其他存储库有依赖性！您有责任自己添加它们。
- com.utilities.Async
- com.utilities.extensions
- com.utilities.audio
- com.utilities.encoder.ogg
- com.utilities.encoder.wav
- com.utilities.rest

文档

验证
API代理
编辑仪表板
- 语音合成仪表板
- 语音实验室仪表板
  - 语音设计师仪表板
  - 语音克隆仪表板
- 历史
文字到语音
- 将文字流到语音
声音
- 获得共享的声音
- 获取所有声音
- 获取默认语音设置
- 得到声音
- 编辑语音设置
- 添加声音
- 编辑语音
- 删除声音
- 样品
  - 下载语音样本
  - 删除语音样本
配音
- 配音
- 获得配音元数据
- 获取配音的成绩单
- 获取配音文件
- 删除配音项目
SFX世代
历史
- 获取历史
- 获取历史记录项目
- 下载历史记录音频
- 下载历史记录项目
- 删除历史记录项目
用户
- 获取用户信息
- 获取订阅信息

验证

有4种提供您的API键的方法，按优先顺序：

配x我们建议使用环境变量加载API密钥，而不是将其硬编码在您的源中。不建议在生产中使用此方法，而仅用于接受用户凭据，本地测试和快速启动方案。

直接使用构造函数传递键配x
统一脚本对象配x
从配置文件加载密钥
使用系统环境变量

直接使用构造函数传递键

 var api = new ElevenLabsClient ( "yourApiKey" ) ;

或手动创建ElevenLabsAuthentication对象

 var api = new ElevenLabsClient ( new ElevenLabsAuthentication ( "yourApiKey" ) ) ;

统一脚本对象

您可以将密钥直接保存到Assets/Resources文件夹中的可脚本对象中。

您可以使用Project Pane的上下文菜单创建一个新的，并创建一个新的ElevenLabsConfiguration脚本对象。

创建新的Elevenlabsconfiguration

从配置文件加载密钥

尝试从配置文件，默认情况下加载API键，默认.elevenlabs下。

要创建一个配置文件，请创建一个名为.elevenlabs的新文本文件，并包含该行：

JSON格式

{
  "apiKey" : " yourApiKey " ,
}

您还可以通过调用身份验证中的静态方法直接加载文件：

 var api = new ElevenLabsClient ( new ElevenLabsAuthentication ( ) . LoadFromDirectory ( "your/path/to/.elevenlabs" ) ) ; ;

使用系统环境变量

使用系统的环境变量指定使用的API键。

将ELEVEN_LABS_API_KEY用于API键。

 var api = new ElevenLabsClient ( new ElevenLabsAuthentication ( ) . LoadFromEnvironment ( ) ) ;

API代理

直接在前端应用程序中使用ElevenLabs-dotnet或com.rest.Rest.REST.REST.REST.REST.EREVENLABS软件包可能会暴露您的API键和其他敏感信息。为了减轻这种风险，建议建立一个中间API，该API代表您的前端应用程序向Elevenlab提出请求。该库可以用于前端和中间主机配置，以确保与Elevenlabs API的安全通信。

前端示例

在前端示例中，您需要使用首选的OAuth提供商对用户进行安全身份验证。对用户进行身份验证后，将您的自定义验证令牌与后端上的API密钥交换。

请按照以下步骤：

使用Elevenlabs-dotnet或com.rest.elevenlabs软件包设置一个新项目。
使用您的OAuth提供商对用户进行身份验证。
成功身份验证后，创建一个新的ElevenLabsAuthentication对象并传递自定义令牌。
创建一个新的ElevenLabsSettings对象，并指定中间API所在的域。
创建客户端实例时，将新的auth和settings对象传递到ElevenLabsClient构造函数。

这是如何设置前端的一个示例：

 var authToken = await LoginAsync ( ) ;
var auth = new ElevenLabsAuthentication ( authToken ) ;
var settings = new ElevenLabsSettings ( domain : "api.your-custom-domain.com" ) ;
var api = new ElevenLabsClient ( auth , settings ) ;

此设置允许您的前端应用程序与您的后端安全通信，该后端将使用Elevenlabs-dotnet-Proxy，然后将请求转发到Eleevenlabs API。这样可以确保您的Elevenlabs API密钥和其他敏感信息在整个过程中保持安全。

后端示例

在此示例中，我们演示了如何在新的ASP.NET Core Web应用程序中设置和使用ElevenLabsProxyStartup 。代理服务器将处理身份验证和转发请求到ElevenLabs API，以确保您的API键和其他敏感信息保持安全。

创建一个新的ASP.NET核心最小Web API项目。
将Elevenlabs-Dotnet Nuget软件包添加到您的项目中。
- powershell安装： Install-Package ElevenLabs-DotNet-Proxy
- dotnet安装： dotnet add package ElevenLabs-DotNet-Proxy
- 手动编辑.csproj： <PackageReference Include="ElevenLabs-DotNet-Proxy" />
创建一个从AbstractAuthenticationFilter继承的新类，并覆盖ValidateAuthenticationAsync方法。这将实现您将用于检查内部服务器的用户IAuthenticationFilter令牌。
在Program.cs中，通过调用ElevenLabsProxyStartup.CreateDefaultHost方法来创建一个新的代理Web应用程序，将您的自定义AuthenticationFilter作为类型参数传递。
像通常使用API键，组织ID或Azure设置一样，创建ElevenLabsAuthentication和ElevenLabsClientSettings 。

 public partial class Program
{
    private class AuthenticationFilter : AbstractAuthenticationFilter
    {
        public override async Task ValidateAuthenticationAsync ( IHeaderDictionary request )
        {
            await Task . CompletedTask ; // remote resource call

            // You will need to implement your own class to properly test
            // custom issued tokens you've setup for your end users.
            if ( ! request [ "xi-api-key" ] . ToString ( ) . Contains ( TestUserToken ) )
            {
                throw new AuthenticationException ( "User is not authorized" ) ;
            }
        }
    }

    public static void Main ( string [ ] args )
    {
        var client = new ElevenLabsClient ( ) ;
        var proxy = ElevenLabsProxyStartup . CreateDefaultHost < AuthenticationFilter > ( args , client ) ;
        proxy . Run ( ) ;
    }
}

设置代理服务器后，您的最终用户现在可以向代理API而不是直接向ElevenLabs API提出身份验证的请求。代理服务器将处理身份验证和转发请求到ElevenLabs API，以确保您的API键和其他敏感信息保持安全。

编辑仪表板

您可以使用ElevenLabs仪表板在编辑器中从ElevenLabs网站上执行所有相同的操作！

Window/Dashboards/ElevenLabs

仪表板

语音合成仪表板

就像在Elevenlabs网站上一样，您可以使用可用的声音合成新的音频剪辑。此工具使其更加方便，因为剪辑会自动下载并导入您的项目，可以使用！

语音综合

语音实验室仪表板

就像在ElevenLabs网站上一样，您可以直接在编辑器中管理所有声音。

语音实验室

语音设计师仪表板

选择Create New Voice将显示一个弹出窗口，您可以在其中使用ElevenLabs生成模型设计全新的声音。

语音设计师

语音克隆仪表板

此外，您还可以从示例录音中克隆声音。

语音克隆

历史编辑仪表板

您还可以访问所有生成的样本的完整列表，即准备下载。

文字到语音

将文本转换为语音。

 var api = new ElevenLabsClient ( ) ;
var text = "The quick brown fox jumps over the lazy dog." ;
var voice = ( await api . VoicesEndpoint . GetAllVoicesAsync ( ) ) . FirstOrDefault ( ) ;
var request = new TextToSpeechRequest ( voice , text ) ;
var voiceClip = await api . TextToSpeechEndpoint . TextToSpeechAsync ( request ) ;
audioSource . PlayOneShot ( voiceClip . AudioClip ) ;

注意：如果要将语音剪辑保存到项目中，则需要将其从缓存路径复制到项目中指定的位置：

 voiceClip . CopyIntoProject ( editorDownloadDirectory ) ;

将文字流到语音

将文字流到语音。

 var api = new ElevenLabsClient ( ) ;
var text = "The quick brown fox jumps over the lazy dog." ;
var voice = ( await api . VoicesEndpoint . GetAllVoicesAsync ( ) ) . FirstOrDefault ( ) ;
var partialClips = new Queue < VoiceClip > ( ) ;
var request = new TextToSpeechRequest ( voice , message , model : Model . EnglishTurboV2 , outputFormat : OutputFormat . PCM_44100 ) ;
var voiceClip = await api . TextToSpeechEndpoint . StreamTextToSpeechAsync ( request , partialClip =>
{
    // Note: check demo scene for best practices
    // on how to handle playback with OnAudioFilterRead
    partialClips . Enqueue ( partialClip ) ;
} ) ;

声音

访问用户或Elevenlab创建的声音。

获得共享的声音

在公共语音库中获取共享声音列表。

 var api = new ElevenLabsClient ( ) ;
var results = await ElevenLabsClient . SharedVoicesEndpoint . GetSharedVoicesAsync ( ) ;
foreach ( var voice in results . Voices )
{
    Debug . Log ( $ " { voice . OwnerId } | { voice . VoiceId } | { voice . Date } | { voice . Name } " ) ;
}

获取所有声音

获取所有可用声音的列表。

 var api = new ElevenLabsClient ( ) ;
var allVoices = await api . VoicesEndpoint . GetAllVoicesAsync ( ) ;

foreach ( var voice in allVoices )
{
    Debug . Log ( $ " { voice . Id } | { voice . Name } | similarity boost: { voice . Settings ? . SimilarityBoost } | stability: { voice . Settings ? . Stability } " ) ;
}

获取默认语音设置

获取全局默认语音设置。

 var api = new ElevenLabsClient ( ) ;
var result = await api . VoicesEndpoint . GetDefaultVoiceSettingsAsync ( ) ;
Debug . Log ( $ "stability: { result . Stability } | similarity boost: { result . SimilarityBoost } " ) ;

得到声音

 var api = new ElevenLabsClient ( ) ;
var voice = await api . VoicesEndpoint . GetVoiceAsync ( "voiceId" ) ;
Debug . Log ( $ " { voice . Id } | { voice . Name } | { voice . PreviewUrl } " ) ;

编辑语音设置

为特定语音编辑设置。

 var api = new ElevenLabsClient ( ) ;
var success = await api . VoicesEndpoint . EditVoiceSettingsAsync ( voice , new VoiceSettings ( 0.7f , 0.7f ) ) ;
Debug . Log ( $ "Was successful? { success } " ) ;

添加声音

 var api = new ElevenLabsClient ( ) ;
var labels = new Dictionary < string , string >
{
    { "accent" , "american" }
} ;
var audioSamplePaths = new List < string > ( ) ;
var voice = await api . VoicesEndpoint . AddVoiceAsync ( "Voice Name" , audioSamplePaths , labels ) ;

编辑语音

 var api = new ElevenLabsClient ( ) ;
var labels = new Dictionary < string , string >
{
    { "age" , "young" }
} ;
var audioSamplePaths = new List < string > ( ) ;
var success = await api . VoicesEndpoint . EditVoiceAsync ( voice , audioSamplePaths , labels ) ;
Debug . Log ( $ "Was successful? { success } " ) ;

删除声音

 var api = new ElevenLabsClient ( ) ;
var success = await api . VoicesEndpoint . DeleteVoiceAsync ( voiceId ) ;
Debug . Log ( $ "Was successful? { success } " ) ;

样品

访问您的样本，克隆声音时创建的样本。

下载语音样本

 var api = new ElevenLabsClient ( ) ;
var voiceClip = await api . VoicesEndpoint . DownloadVoiceSampleAsync ( voice , sample ) ;

删除语音样本

 var api = new ElevenLabsClient ( ) ;
var success = await api . VoicesEndpoint . DeleteVoiceSampleAsync ( voiceId , sampleId ) ;
Debug . Log ( $ "Was successful? { success } " ) ;

配音

配音将音频或视频文件提供给给定的语言。

 var api = new ElevenLabsClient ( ) ;
// from URI
var request = new DubbingRequest ( new Uri ( "https://youtu.be/Zo5-rhYOlNk" ) , "ja" , "en" , 1 , true ) ;
// from file
var request = new DubbingRequest ( filePath , "es" , "en" , 1 ) ;
var metadata = await api . DubbingEndpoint . DubAsync ( request , progress : new Progress < DubbingProjectMetadata > ( metadata =>
{
    switch ( metadata . Status )
    {
        case "dubbing" :
            Debug . Log ( $ "Dubbing for { metadata . DubbingId } in progress... Expected Duration: { metadata . ExpectedDurationSeconds : 0.00 } seconds" ) ;
            break ;
        case "dubbed" :
            Debug . Log ( $ "Dubbing for { metadata . DubbingId } complete in { metadata . TimeCompleted . TotalSeconds : 0.00 } seconds!" ) ;
            break ;
        default :
            Debug . Log ( $ "Status: { metadata . Status } " ) ;
            break ;
    }
} ) ) ;

获得配音元数据

返回有关配音项目的元数据，包括是否仍在进行中。

 var api = new ElevenLabsClient ( ) ;
var metadata = api . await GetDubbingProjectMetadataAsync ( "dubbing - id");

获取配音文件

返回下载的配音文件路径。

重要的

视频将以MP4格式返回，并且音频只会在MP3中返回配音。

 var dubbedClipPath = await ElevenLabsClient . DubbingEndpoint . GetDubbedFileAsync ( metadata . DubbingId , request . TargetLanguage ) ;
var dubbedClip = await Rest . DownloadAudioClipAsync ( $ "file:// { dubbedClipPath } " , AudioType . MPEG ) ;
audioSource . PlayOneShot ( dubbedClip ) ;

获取配音的成绩单

返回所需格式的配音的转录本。

 var srcFile = new FileInfo ( audioPath ) ;
var transcriptPath = new FileInfo ( $ " { srcFile . FullName } .dubbed. { request . TargetLanguage } .srt" ) ;
var transcriptFile = await ElevenLabsClient . DubbingEndpoint . GetTranscriptForDubAsync ( metadata . DubbingId , request . TargetLanguage ) ;
await File . WriteAllTextAsync ( transcriptPath . FullName , transcriptFile ) ;

删除配音项目

删除配音项目。

 var api = new ElevenLabsClient ( ) ;
await api . DubbingEndpoint . DeleteDubbingProjectAsync ( "dubbing-id" ) ;

SFX世代

将文本转换为声音并使用有史以来最高级的AI音频模型的API。

 var api = new ElevenLabsClient ( ) ;
var request = new SoundGenerationRequest ( "Star Wars Light Saber parry" ) ;
var clip = await api . SoundGenerationEndpoint . GenerateSoundAsync ( request ) ;

历史

访问您先前合成的音频剪辑，包括其元数据。

获取历史

获取有关您生成的所有音频的元数据。

 var api = new ElevenLabsClient ( ) ;
var historyItems = await api . HistoryEndpoint . GetHistoryAsync ( ) ;

foreach ( var item in historyItems . OrderBy ( historyItem => historyItem . Date ) )
{
    Debug . Log ( $ " { item . State } { item . Date } | { item . Id } | { item . Text . Length } | { item . Text } " ) ;
}

获取历史记录项目

获取有关特定项目的信息。

 var api = new ElevenLabsClient ( ) ;
var historyItem = await api . HistoryEndpoint . GetHistoryItemAsync ( voiceClip . Id ) ;

下载历史记录音频

 var api = new ElevenLabsClient ( ) ;
var voiceClip = await api . HistoryEndpoint . DownloadHistoryAudioAsync ( historyItem ) ;

下载历史记录项目

下载最后100个历史记录项目或指定项目的收集。

 var api = new ElevenLabsClient ( ) ;
var voiceClips = await api . HistoryEndpoint . DownloadHistoryItemsAsync ( ) ;

注意：要将剪辑直接复制到您的项目中，您可以调用：

 VoiceClipUtilities . CopyIntoProject ( editorDownloadDirectory , downloadItems . ToArray ( ) ) ;

删除历史记录项目

 var api = new ElevenLabsClient ( ) ;
var success = await api . HistoryEndpoint . DeleteHistoryItemAsync ( historyItem ) ;
Debug . Log ( $ "Was successful? { success } " ) ;

用户

访问您的用户信息和订阅状态。

获取用户信息

通过ElevenLabs获取有关您的用户帐户的信息。

 var api = new ElevenLabsClient ( ) ;
var userInfo = await api . UserEndpoint . GetUserInfoAsync ( ) ;

获取订阅信息

获取有关您使用ElevenLabs订阅的信息。

 var api = new ElevenLabsClient ( ) ;
var subscriptionInfo = await api . UserEndpoint . GetSubscriptionInfoAsync ( ) ;

展开

com.rest.elevenlabs