加载中…
  • 双域名启用:电影声音
  • 加入VIP会员,看更多内容vip
  • Pro Tools国际认证课
  • S短片节-声音人的节日
  • 购物车
  • 我的帐户

{{userData.name}}

个人中心
后台
{{item.count}}
{{textHint.loading}}
  • {{data.name}}({{data.count}}){{data.name}}
投稿
  • 资讯
    • 限免/优惠
    • 奖项
    • 行业
    • 电影声音研学中心
    • 软件新闻
    • 硬件新闻
  • 学知
    • 中国声音
    • 声音人
    • 声音制造
    • 声音设计
    • 声景与实地录音
    • 声音艺术
    • 游戏声音
    • 影视音乐
  • 技术
    • 来团
    • #AI音频技术频道#
      • 音干分离
    • 麦克风频道
      • 同期麦克风
      • 无线麦克风
      • 后期麦克风
      • 麦克风知识
      • 麦克风综合讯息
    • 前期/同期硬件
      • 录音机
    • 后期技术
      • 后期硬件
        • 音频接口
        • 监听耳机/音箱
        • 调音Mixer / 控台 Control
      • 后期软件
        • 音频插件 Plug-in
          • 免费 限时 Free
          • EQ 均衡类
          • Dynamics 动态类
          • Reverb/Delay混响及延迟
          • DeNoise 音频修复类
          • Effect 效果类
          • Meter 计量 显示 测量类
          • SoundField 声场 空间类
          • Instrument 乐器类
          • modulate Harmonic pitch 调制 谐波 移调类
          • others 其它类
        • DAW
          • ProTools
        • Krotos声音设计
      • 音效
      • 空间音频/沉浸声/全景声
      • VR/AR/XR声音
    • 周边配件
    • 综合
  • 专题
    • 24-25颁奖季
    • 纪录片声音制作
    • 短片声音制作
    • 23-24颁奖季
    • NAB2024
当前位置:首页-#AI音频技术频道#,软件新闻-正文

瞬息音宇宙 Pika的AI口形同步与音效生成开放

#AI音频技术频道#, 软件新闻1年前003.17K0
春节后OpenAI 分享了 Sora 的视频,这是全世界所有内容创作领域影响意义的大事件,其流畅和逼真的生成式AI人工智能视频模型震惊了全世界,静默的视频让我们以为声音制作还有时间窗口,冷眼旁观没几天,AI音频领域的领先者ElevenLabs就给Sora视频用AI加上了声音,AI视频生成声音,这么秒就来了!,但它目前仍然只是一个内部模型,有人也对此表示怀疑,小编当时也认为ElevenLabs当时蹭流量的嫌疑很大。

瞬息音宇宙 Pika的AI口形同步与音效生成开放 - 第1张

 

就在本月中,人工智能生成式AI视频初创公司Pika,对,就是斯坦福那两位优秀的华人女生创办的AI公司,他们应用ElevenLabs TTS API技术,推出了AI口形同步(lip-Synch 唇形同步),允许用户在视频中添加人工智能语音,同时还添加匹配的动画,以确保说话角色的嘴部与对话同步应动。口型功能我们还在评估中,紧跟着没几天Pika又推出了音效生成,用户只需一个开关键,就可以通过输入文本为视频增加语音与音效。Pika说,视频可以通过音效来增强,以创建一个更加完整和身临其境的场景。

 

来看看下面的视频:

 

先前还是仅付费用户可以使用,就在上周末,Pika对所有用户开放了这两个功能,不过就在小编写这个文章时,注册又不可用了,“升级新功能警告,请注意打开声音。”不知是否还有新的功能推出。

瞬息音宇宙 Pika的AI口形同步与音效生成开放 - 第2张

Pika AI 视频自动生成音效。此举有望为人工智能生成的视频添加一个全新的维度,AI视频其中大多数视频都是无声的,以前需要用户通过其他音频编辑软件添加自己的声音文件。现在,有了 Pika 的新功能,就可以直接在应用程序内完成此操作并创建新的声音文件,而无需单独创作声音。

Pika 确认用户将通过两种方式得到声音效果

瞬息音宇宙 Pika的AI口形同步与音效生成开放 - 第3张

  • 一种方法是根据上下文生成,平台下的人工智能模型将决定哪种音频最适合根据文本提示生成的视频,用户所要做的就是在输入提示时打开“音效”开关,专有模型将完成其余的工作,并在几秒钟内提供完整的视听输出 – 以及与场景相关的声音。

  • 第二种方法是后续方法,用户可以在平台上生成或上传无音频剪辑后添加特定的人工智能生成的声音。用户必须单击“编辑”和“声音效果”(可用于修改区域和展开画布功能),然后编写完整的文本提示来描述他们想要什么样的声音添加到相关剪辑。根据提供的提示,模型将生成多个声音选项,允许用户选择并添加最适合他们需要的声音选项。

以前,用户被迫使用其他来源的音频,这给流程带来了困扰并花费了更多时间,Pika 虽然并不是唯一一个探索通过文本提示生成声音的,但它是人工智能视频领域第一个将生成的音频作为视频输出的一部分的公司。

再看这一段音效生成的官方视频:

通过生成式 AI 视频制作与口型同步和音效生成这三项主要功能,Pika创建了第一个“一体式”主要生成式 AI 视频创作平台,用户可以在其中使用 AI 完成所有操作 – 音效、配音和视觉效果 – 所有将人工智能算法集中在一处。

音频新功能对影像制作人来说是非常有吸引力的,消除了对单独的电影摄影师、摄像师、声音设计师、ADR录音师、甚至演员的需要,或者至少由单一电影制作人自己采购所有这些内容的责任对于某些项目。电影制片人不再需要去现场拍摄或通过不同的素材图像和声音数据库和程序来查找文件来拼接电影,Pika 现在可以让用户只输入文字并比以前更快地生成所有一体化影音文件,更完善直接的匹配想象。

从另一个角度,也证明了影像中声音的重要性。

瞬息音宇宙 Pika的AI口形同步与音效生成开放 - 第4张

下一步,该初创公司计划在这项工作的基础上推出更多功能。该公司估值近 2 亿美元,已经融资了 5500 万美元资金,不仅与 OpenAI 竞争,还与创意 AI 领域其他资金雄厚的参与者展开竞争,包括 Adobe、Runwa、Stability AI 和最近推出的 Haiper。

如此发展迅猛的发展,你怎么想?欢迎文末留言!

 

更多内容欢迎访问我们的AI技术频道,https://www.locationsound.cn/aiaudio

瞬息音宇宙 Pika的AI口形同步与音效生成开放 - 第5张

AI(146)Pika(2)瞬息音宇宙(1)音效生成(1)

相关文章

  • 人人都将是歌手时代带来临,AI 驱动的 Sing-to-Sing 实时矫音技术

    人人都将是歌手时代带来临,AI 驱动的 Sing-to-Sing 实时矫音技术

    想象一下一个未来,AI 能够实时…
    locationsound locationsound 01.97K00
  • Pro Tools的AI语音转文本,对白编辑革新来了

    Pro Tools的AI语音转文本,对白编辑革新来了

    2024 年 IBC 展会开始了…
    locationsound locationsound 02.44K00
  • 人工智能和影响力营销如何将音频转变为最有效的广告媒体

    人工智能和影响力营销如何将音频转变为最有效的广告媒体

    音频作为一种(传统)媒介,正在不…
    lsadmin lsadmin 02.28K00
  • Adobe涉及AI的新条款和条件引起争议 有人已经删除PR AU等!……

    Adobe涉及AI的新条款和条件引起争议 有人已经删除PR AU等!……

    02 如果使用Adobe …
    locationsound locationsound 03.65K00
  • 免费下载:GOYO语音分离器 – AI降噪插件

    免费下载:GOYO语音分离器 – AI降噪插件

    AI人工智能的话题最近太火了,但…
    denglu denglu 51.36W4.673
  • 新的 Lalal.ai 工具可以将主唱和伴唱分离

    新的 Lalal.ai 工具可以将主唱和伴唱分离

    Lalal.ai根据其用户反馈,…
    locationsound locationsound 02.39K00

最新文章

  • 索尼即将推出ECM-778紧凑型Hi-Res高解析专业麦克风
    索尼即将推出ECM-778紧凑型Hi-Res高解析专业麦克风
    资讯
  • AI 初创公司将音频曲目几分钟内转录为乐谱
    AI 初创公司将音频曲目几分钟内转录为乐谱
    资讯
  • Tracktion发布Waveform 13.5
    Tracktion发布Waveform 13.5
    音频插件 Plug-in
  • Lunacy Audio发布Chorus/phase 效果与灵活滤波器免费插件
    Lunacy Audio发布Chorus/phase 效果与灵活滤波器免费插件
    资讯
  • 戛纳电影节《风之子:帕拉》的沉浸与声音
    戛纳电影节《风之子:帕拉》的沉浸与声音
    声音人, 声音制造, 声音艺术, 声音设计, 行业, 资讯
  • Reason 13.3 发布
    Reason 13.3 发布
    资讯
  • 全新 Bela Gem 立体声和多声道音频嵌入式 Linux 主板
    全新 Bela Gem 立体声和多声道音频嵌入式 Linux 主板
    硬件新闻, 资讯
  • 《最后生还者》第二季声音设计解析:史诗战斗、感染潮与隐藏细节的幕后创作
    《最后生还者》第二季声音设计解析:史诗战斗、感染潮与隐藏细节的幕后创作
    声音人, 声音制造, 声音艺术, 声音设计
  • Orcas Audio 发布免费 Whirlpool 滤波器,Undertow 混响 & Quad Cascade 延迟
    Orcas Audio 发布免费 Whirlpool 滤波器,Undertow 混响 & Quad Cascade 延迟
    免费 限时 Free, 音频插件 Plug-in
  • 限免通道条:AIR Channel Strip
    限免通道条:AIR Channel Strip
    免费 限时 Free, 音频插件 Plug-in

没有相关内容

更多文章

  • 苹果正在研发带摄像头的AirPods,配备AI和空间音频
    苹果正在研发带摄像头的AirPods,配备AI和空间音频
    #AI音频技术频道#, 空间音频/沉浸声/全景声981
  • 影视后期音频基础(三)-声音编辑
    影视后期音频基础(三)-声音编辑
    DAW7.16K
  • Lotus Sound Audio 发布免费压缩器插件LA2-FOX!
    Lotus Sound Audio 发布免费压缩器插件LA2-FOX!
    Dynamics 动态类, 限免/优惠2.57K
  • 新人课堂:火星的风声ni没有听过吧
    新人课堂:火星的风声ni没有听过吧
    声音制造, 麦克风知识, 麦克风综合讯息2.13K
  • 令人深思的电影主题,令人回味的声音制作-《六欲天》声音指导龙筱竹专访
    令人深思的电影主题,令人回味的声音制作-《六欲天》声音指导龙筱竹专访
    声音人4.14K
  • SSL 发布 32Classic MS 模拟通道条
    SSL 发布 32Classic MS 模拟通道条
    周边配件1.69K

没有相关内容

热门文章(一年内)

  • SSG Audio 推出母带处理 AI 插件
    SSG Audio 推出母带处理 AI 插件
    2.44W
  • 常见Pro Tools 错误代码含义及修复(1)
    常见Pro Tools 错误代码含义及修复(1)
    1.04W
  • 姗姗来迟,Pro Tools 2024.10发布
    姗姗来迟,Pro Tools 2024.10发布
    8.50K
  • Kiive Audio 推出重新设计的 NFuse 总线处理器插件
    Kiive Audio 推出重新设计的 NFuse 总线处理器插件
    8.33K
  • 常见Pro Tools 错误代码含义及修复(2)
    常见Pro Tools 错误代码含义及修复(2)
    8.05K
  • 索尼推出全新MDR-M1封闭式监听专业耳机
    索尼推出全新MDR-M1封闭式监听专业耳机
    7.33K
  • 预测Apple 2025 年 Mac 电脑发布计划
    预测Apple 2025 年 Mac 电脑发布计划
    7.01K
  • Sonible prime:vocal – 新的AI人声增强工具
    Sonible prime:vocal – 新的AI人声增强工具
    6.44K

没有相关内容

蛇年大吉!

分类推荐

没有相关分类

标签精选

  • Pro Tools
  • AI
  • 奥斯卡
  • Zoom
  • 杜比全景声
  • 声音设计
  • iZotope
  • 声音制作
  • 拟音
  • Avid

没有相关分类

最新视频

  • 就这么屌,与ChatGTP-4o对话就完成角色配音
    就这么屌,与ChatGTP-4o对话就完成角色配音
    1年前
  • 第96届奥斯卡获奖公布 Ludwig Göransson 颁奖视频
    第96届奥斯卡获奖公布 Ludwig Göransson 颁奖视频
    1年前

没有相关内容

联系我们

请加微信个人号:locationsound

关于

  • 联系
  • 关于我们
  • 支持我们
  • 加入我们

扫一扫关注公众号

扫一扫
"Copyright © 2015-至今 同期录音网 ICP备2021023776-2
133 次查询在 1.803 秒, 使用 55.09MB 内存