音视频开发者的福音,快速集成AI配音能力

音视频内容创作者对剪辑应用中的AI配音需求与日俱增。它的优点很多,不光可以解决雇佣人力配音的成本以及创作者本身的口音、语言等限制,还可以大幅提升生产效率。比如,短视频的播放时间短的几十秒,长的vlog类型视频有4-5分钟,使用AI配音功能可以在短时间内实现多个剪辑需求。

HMS Core音频编辑服务(Audio Editor Kit)提供AI配音服务,帮助开发者在应用中轻松构建语音合成功能,一键输出文字即可转换语音。它支持乖萌童声,亲切女声,阳光男声,英文男声、女声等多种风格音色,还可以定制自己想要的音色。音色自然流畅,情感丰富,满足有声阅读、音频内容制作、剪辑等多种开发者关注的热门场景。

开发实战

1.开发准备

具体准备步骤请参考华为开发者联盟官网:

[En]

For detailed preparation steps, please refer to the official website of Huawei developer Alliance:

https://developer.huawei.com/consumer/cn/doc/development/Media-Guides/config-agc-0000001154009063?ha_source=hms1

2.编辑工程集成

2.1设置应用的鉴权信息

开发者需要通过api_key或者Access Token来设置应用鉴权信息。

  • (推荐)通过setAccessToken方法设置Access Token,在应用启动时初始化设置
HAEApplication.getInstance().setAccessToken("your access token");
  • 通过setApiKey方法设置api_key,在应用启动时初始化设置一次即可,无需多次设置。
HAEApplication.getInstance().setApiKey("your ApiKey");

2.2初始化环境

初始化音频编辑管理类,创建时间线和所需的泳道。

[En]

Initialize the audio editing management class, create a timeline, and the required swimming lanes.

// 创建音频编辑管理类
HuaweiAudioEditor mEditor = HuaweiAudioEditor.create(mContext);
// 初始化Editor的运行环境
mEditor.initEnvironment();
// 创建时间线
HAETimeLine mTimeLine = mEditor.getTimeLine();
// 创建泳道
HAEAudioLane audioLane = mTimeLine.appendAudioLane();

导入音乐。

// 泳道末尾添加音频资源
HAEAudioAsset audioAsset = audioLane.appendAudioAsset("/sdcard/download/test.mp3", mTimeLine.getCurrentTime());

3. AI配音功能集成

调用HAEAiDubbingEngine实现AI配音功能。

// 通过此配置类来对AI配音引擎进行配置
HAEAiDubbingConfig haeAiDubbingConfig = new HAEAiDubbingConfig()
// 设置音量
.setVolume(volumeVal)
// 设置音速
.setSpeed(speedVal)
// 设置发音人
.setType(defaultSpeakerType);
// 单个AI配音任务回调
HAEAiDubbingCallback callback = new HAEAiDubbingCallback() {
    @Override
    public void onError(String taskId, HAEAiDubbingError err) {
        // error处理
    }
    @Override
    public void onWarn(String taskId, HAEAiDubbingWarn warn) {}
    @Override
    public void onRangeStart(String taskId, int start, int end) {}
    @Override
    public void onAudioAvailable(String taskId, HAEAiDubbingAudioInfo haeAiDubbingAudioFragment, int i, Pair<integer, integer> pair, Bundle bundle) {
        // &#x5F00;&#x59CB;&#x63A5;&#x6536;&#x6587;&#x4EF6;&#xFF0C;&#x4FDD;&#x5B58;&#x6210;&#x6587;&#x4EF6;
    }
    @Override
    public void onEvent(String taskId, int eventID, Bundle bundle) {
        // The synthesis is complete.

        if (eventID == HAEAiDubbingConstants.EVENT_SYNTHESIS_COMPLETE) {
            // AI&#x914D;&#x97F3;&#x4EFB;&#x52A1;&#x5904;&#x7406;&#x7ED3;&#x675F;&#xFF0C;&#x5373;&#x5408;&#x6210;&#x7684;&#x97F3;&#x9891;&#x6570;&#x636E;&#x5168;&#x90E8;&#x5904;&#x7406;&#x5B8C;&#x6BD5;
        }
    }
    @Override
    public void onSpeakerUpdate(List<haeaidubbingspeaker> speakerList, List<string> lanList,
         List<string> lanDescList) { }
};
// AI&#x914D;&#x97F3;&#x5F15;&#x64CE;
HAEAiDubbingEngine mHAEAiDubbingEngine = new HAEAiDubbingEngine(haeAiDubbingConfig);
// &#x8BBE;&#x7F6E;AI&#x914D;&#x97F3;&#x4EFB;&#x52A1;&#x64AD;&#x653E;&#x8FC7;&#x7A0B;&#x4FA6;&#x542C;
mHAEAiDubbingEngine.setAiDubbingCallback(callback);
// &#x5B9E;&#x65F6;AI&#x914D;&#x97F3;&#x5E76;&#x64AD;&#x653E;API&#xFF0C;text&#x4F20;&#x5165;&#x5F85;&#x8F6C;&#x8BED;&#x97F3;&#x7684;&#x6587;&#x672C;&#xFF0C;modeAI&#x914D;&#x97F3;&#x4EFB;&#x52A1;&#x64AD;&#x653E;&#x6A21;&#x5F0F;
String taskId = mHAEAiDubbingEngine.speak(text, mode);
// &#x6682;&#x505C;&#x64AD;&#x653E;
mHAEAiDubbingEngine.pause();
// &#x6062;&#x590D;&#x64AD;&#x653E;
mHAEAiDubbingEngine.resume();
// &#x5173;&#x95ED;&#x5408;&#x6210;
mHAEAiDubbingEngine.stop();
</string></string></haeaidubbingspeaker></integer,>

Demo演示

音视频开发者的福音,快速集成AI配音能力

有关华为音频编辑服务的更多详细信息,请参阅:

[En]

For more details of Huawei’s audio editing services, please refer to:

服务官网:https://developer.huawei.com/consumer/cn/hms/huawei-audio-editor/?ha_source=hms1
获取指导文档:https://developer.huawei.com/consumer/cn/doc/development/Media-Guides/client-dev-0000001107465102?ha_source=hms1

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHubGitee

关注我们,第一时间了解 HMS Core 最新技术资讯~

Original: https://blog.csdn.net/HUAWEI_HMSCore/article/details/123185439
Author: 华为移动服务
Title: 音视频开发者的福音,快速集成AI配音能力

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/498358/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球