ViPer：为Stable Diffusion 提供个性化图像生成方法，记住你的艺术喜好

摘要

ViPer（Visual Personalization of Generative Models via Individual Preference Learning）是一种个性化图像生成方法。它通过捕捉用户的视觉偏好，个性化地生成符合每个用户喜好的图像。其核心理念是利用用户对一小部分图像的评论，提取出用户的视觉偏好，并用这些偏好来引导生成模型，从而产生符合用户个性化需求的图像。

主要特点

1. 用户评论图像：用户被邀请评论一小组多样化的图像，说出他们喜欢或不喜欢的原因。
2. 提取视觉偏好：通过大语言模型（如GPT-4），将用户的评论转化为结构化的视觉偏好属性，例如颜色、风格、质感等。
3. 个性化生成：将提取的视觉偏好属性用于调整文本到图像生成模型（如Stable Diffusion）的输入，使其生成的图像更加符合用户的偏好。
   

技术优势

1. 高效捕捉用户偏好：通过用户的少量评论即可提取其视觉偏好。
2. 定制化生成：生成的图像更加符合用户的个性化需求。
3. 先进模型支持：利用大语言模型和生成模型的结合，实现高质量的个性化图像生成。

应用场景

1. 个性化艺术创作
2. 定制化广告设计
3. 用户喜好分析与推荐
   

相关链接

项目及演示：https://viper.epfl.ch/

论文：https://arxiv.org/pdf/2407.17365

GitHub：https://github.com/EPFL-VILAB/ViPer

在线体验：https://huggingface.co/spaces/EPFL-VILAB/ViPer