Google 发布根据视频生成音频技术：V2A

Google 发布根据视频生成音频技术：V2A

技术概述

DeepMind最新研发的V2A（视频转音频）技术可以根据视频画面和文字描述自动生成丰富的音轨，使无声视频变得生动。

主要功能

1. 音频生成：
   • 根据视频画面和用户提供的文字描述生成音轨。
   • 包括背景音乐、环境音效和对话等。
2. 同步音频：
   • 确保生成的音频与视频内容完美同步，没有延迟或错位。
3. 多样化音轨：
   • 为视频生成多种音轨，尝试不同音效组合，找到最适合的声音。
4. 创意提示：
   • 支持“正向提示”和“负向提示”功能，引导模型生成特定声音或避免生成不希望的声音。

工作原理

1. 输入视频和文字描述：
   • 用户提供视频和文字描述（如“紧张的背景音乐”或“鸟叫声”）。
2. 视频编码：
   • 系统将视频转换为AI能处理的格式。
3. 生成音频：
   • AI模型从随机噪声开始，通过多次优化，生成与视频和文字描述匹配的音频。
4. 合成音频和视频：
   • 将生成的音频与视频结合，形成完整的音视频文件。
5. 调整和控制：
   • 用户可以提供额外提示进行调整，使生成的音频更加符合预期。

研究与发展方向

1. 音频输出质量改进：
   • 研究如何在各种视频质量下保持一致性和高质量的音频输出。
2. 唇同步改进：
   • 改善生成的语音与视频中角色唇部动作的同步性。
3. 处理视频失真：
   • 提高模型的鲁棒性和适应性，在多样化的视频内容下生成高质量音频。
4. 安全与透明性：
   • 进行严格的安全评估和测试，防止技术滥用。

应用场景

1. 为无声视频添加背景音乐。
2. 为老电影制作音轨。
3. 为社交媒体视频添加特殊音效。
4. 电影制作人和创意工作者快速试验不同的音效组合。

提示词案例

1. 电影、惊悚、恐怖电影、音乐、紧张、氛围、混凝土上的脚步声
   • Prompt for audio: Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete
     
2. 可爱的小恐龙叽叽喳喳，丛林氛围，蛋壳破裂
   • Prompt for audio: Cute baby dinosaur chirps, jungle ambience, egg cracking|
     
3. 水下脉动的水母，海洋生物，海洋
   • Prompt for audio: Jellyfish pulsating under water, marine life, ocean
     
4. 音乐会上一个鼓手站在舞台上，周围是闪烁的灯光和欢呼的人群
   • Prompt for audio: A drummer on a stage at a concert surrounded by flashing lights and a cheering crowd
     
5. 汽车打滑，汽车发动机节流，天使般的电子音乐
   • Prompt for audio: Cars skidding, car engine throttling, angelic electronic music
     
6. 当太阳在大草原上落下时，一支悠缓柔和的口琴演奏
   • Prompt for audio: A slow mellow harmonica plays as the sun goes down on the prairie
     
7. 狼对着月亮嚎叫
   • Prompt for audio: Wolf howling at the moon
     

官网详细介绍：Generating audio for video – Google DeepMind