阿里巴巴推出Tora：AI视频生成新突破

摘要

阿里巴巴的研究团队推出了Tora，一款基于轨迹的视频生成模型，它通过先进的Diffusion Transformer（DiT）架构，实现了高保真度和运动控制的视频生成。Tora能够将文本描述、静态图像或动态轨迹转化为流畅自然的视频，为电影特效制作、虚拟现实等领域带来革新。

主要特点

1. ✨ 高保真度：色彩、清晰度、流畅度均达到专业水准。
2. 🎬 运动控制：精确控制视频中的每一个动作。
3. 🌐 多样化输入：支持文本描述、静态图像和动态轨迹。
4. 🚀 创新架构：采用Diffusion Transformer架构，突破视频生成限制。
   

技术优势

1. 🔄 轨迹编码：将轨迹信息编码为可理解格式。
2. 🌟 运动块生成：通过3D变分自编码器压缩轨迹信息。
3. 💫 运动融合：将运动信息融合到DiT块中，生成符合轨迹的视频。

应用场景

1. 🎥 电影特效制作
2. 🕹️ 虚拟现实体验
3. 🎨 创意视频创作

相关链接

– 项目地址