实践1——人像LoRA
该篇文档只针对在PICPIK.AI平台使用“LoRA训练”功能进行某个特定人像训练的场景。 下面是详细的步骤和一些建议。基于该教程进行训练,您可以创造出极为逼真的人物图像,基本可以做到9成相似。
本次展示中使用的人像图片仅供案例演示,不做任何商业用途。我们尊重并保护图片版权和个人隐私,如有侵权,请及时联系我们处理。本展示内容的最终解释权归 PICPIK.AI 所有。
1.基本流程
先笼统的按照训练流程介绍一下人像模型训练的流程与准备材料,让大家对整个训练流程有一个基础的认识。
2.准备训练集
- 去哪里找图片?
在训练初期,如果您没有练习的图片集,推荐您使用Pinterest、Google Images等图片渠道来练手(两个均需访问外网),前者的图片质量最高。此外,如果是摄影爱好者,可以用自己拍摄的图片作为训练集。
值得注意的是,在模型训练过程中您需特别重视图片版权的重要性。请确保训练集图片不侵犯他人版权。我们建议您仅使用拥有明确授权或属于公共领域的图片、您的业务数据图片、以及您自己拍摄或创作的图片进行模型训练,以避免潜在的法律风险。如果您使用了未经授权的图片训练,最终的模型无法用于商用目的。
-
准备多少张图?
理论上来说,至少保障20张人像图片,基本可以得到还算凑合的效果。要想模型质量有质的提升,Lora训练的图片量多多益善。 -
找什么样的图片?
优质的数据集直接影响人像模型的质量,以下是PICPIK.AI的一些建议,帮您准备一个合格的训练集:
◦ 单人照片
◦ 高清图(短边像素不低于512 px)
◦ 角度和风格多样,正脸居多(正脸/侧脸/不同表情/不同发型/不同服装/不同姿势……)
◦ 年龄段保持一致
◦ 人物风格相对一致(如人像妆容保持差不多水平)
◦ 图像构图尽量简单、干净,尽量复杂背景
◦ 人物姿势完整、非扭曲动作(AI难以学习的动作),人物动作不遮挡脸部特征
◦ 减少重复或高速相似的图片
◦ 不要带logo或文字
3.准备人像大模型
人像大模型奠定了您训练的LoRA模型的基础。建议您使用PICPIK.AI自带的人像模型(见下图),也可以使用“模型管理”功能导入符合您出图要求的第三方人像模型(目前支持Civitai)。本次训练,我使用了Civitai上分享的“Realistic Vision V6.0 B1”。
4.创建训练集
点击“创建训练集”,按本次训练目标依次输入“训练集名称”、“基础模型”、“触发词”,点击“确认”,等待片刻后在界面将新增一个训练集。
5.上传人像图——picpik.ai自动裁剪
按页面引导,您只需将人像图片传入刚才新建的训练集(图片短边分辨率不得低于512 px);平台将进行人像图片尺寸的自动裁剪(裁剪后尺寸 512*512 px)。本次训练,我导入了107张某特定人物的不同角度的高清半身照。
6.标签管理———picpik.ai自动打标
• 为什么打标(tag)?
打标是为了在模型训练过程中指导AI大模型更准确的学习、重建您训练的特定人像的特征。通过这些标签,可以帮助模型理解、重现特定人像的特定特征。
• 如何打标?
PICPIK.AI在图片预处理环节自动为您的训练图片打标签(支持中英文),您通过“全选”图片或选中某些图片后,即可在页面右侧查看已完成的图片标签。如果,您对标签有编辑诉求,也可以对标签进行批量或逐个的补充与删除。
小技巧
如果对人像图片的tag输出存在痛点,可参考这几个tips:(1)借鉴图库网站的描述词。在图库网站搜索该人物角色,并参考其相关推荐图片,可获得一些人物图片的描述,诸如发型、服装风格、姿态、风格等。(2)参考PICPIK.AI自动生成的图片tag,基于此拓展和细化您的标签。(3)利用PICPIK.AI PS插件内的“反推描述”功能。
7.训练配置
原则上,PICPIK.AI已经将尽可能标准化的模型参数进行了封装,您无需做额外的设置。 但,如果您对LoRA训练有一定的基础、或对初步训练的人像模型结果不太满意,您可以打开页面左侧的“训练设置”进行训练步数、学习率的调整。 • 训练步数:人像LoRA默认的单张训练步数(steps)为100,您可以基于此进行训练测试,如果模型训练效果不佳,可以将steps值进行提升。在本次训练中,我使用的单张训练步数最终调整为200 steps。 • 学习率:可简单看作LoRA训练过程中学习的速度或强度。如果把该人像LoRA的训练过程比作烤面包,那么学习率就是您设定的烤箱的温度。温度越高,面包烤的越快,但面包很容易烤焦,欲速则不达(过拟合)。温度越低,面包烤的越慢,很长时间过去了面包还没熟(欠拟合)。在本次训练中,我使用的是平台默认的推荐值:0.17。
8.训练过程
点击页面左上角“立即训练”按钮,即可进入训练状态。
根据训练的图片量、训练步数设置的不同,模型的训练时长不同。在本次人像训练中,我使用了107张人像图片,100 steps的训练时长在15分钟,200 steps的训练市场在30分钟左右。
每完成一次训练,平台都会保存该次训练的LoRA模型,按照时间顺序保存。
9.评估训练效果
在完成训练后,如何判断哪个LoRa模型的效果最佳?
打开PICPIK.AI的Web UI “创作”界面,或在PS软件内打开我们的AI插件,依次选择大模型——本次训练的人像LoRA模型——输入文本提示词——点击“立即生成”,即可生成图像。
在该环节,您可以切换训练的不同LoRA、调整其权重来生成不同的AI图,通过查看图片生成质量来观察哪一轮的模型和权重能更准确的捕捉到人物的特征。
在本次训练中,我采用了107张人像图片、200 steps训练,最终生图时LoRA权重设置为0.7,出的图片基本能做到9成相似。
希望您享受模型训练的过程!