LivePortrait：快手开源人像视频生成框架

摘要

快手科技联合中国科学技术大学和复旦大学推出了LivePortrait，一个开源的人工智能人像视频生成框架。该框架能够将静态图片转化为具有真实面部表情和运动的动态视频，利用先进的重演技术，通过视频、音频或文本驱动面部运动和表情的模拟。

主要特点

1. 高精度肖像动画：将静态人像转化为逼真动态面部动画。
2. 风格多样化：支持现实风格、油画、雕塑、3D渲染等多种风格。
3. 眼睛和唇部重定向：根据语音或表情调整眼睛和嘴唇的张开程度。
4. 支持动物动画：通过微调模型，实现猫、狗、熊猫等动物的精准动画生成。
5. 生成速度快：在RTX 4090 GPU上，每帧生成速度达到12.8毫秒。
6. 开源代码：推理代码和模型在GitHub上公开，便于研究和进一步开发。

应用场景

1. 数字肖像创作：增加作品的互动性和表现力。
2. 动画电影制作：减少手动绘制工作量，生成逼真面部表情和动作。
3. 虚拟现实艺术：生成虚拟角色的面部动画，提升沉浸式体验。
4. 音乐视频制作：为音乐视频添加动态面部表情，增强视觉冲击力。
5. 艺术教育：展示艺术作品的创作过程，教授动画表达艺术理念。

相关链接

– LivePortrait项目主页

– 在线体验地址

– GitHub源代码和部署教程

– LivePortrait论文地址