(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961538.3 (22)申请日 2022.08.11 (71)申请人 深圳数联天下智能科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道20号深圳国 家工程实验室大楼B16 01 (72)发明人 陈仿雄　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 唐梦云 (51)Int.Cl. G06T 3/00(2006.01) G06V 10/28(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 40/10(2022.01) G06Q 30/06(2012.01) (54)发明名称 训练试衣模 型的方法、 虚拟试衣 方法及相关 装置 (57)摘要 本申请实施例涉及图像处理技术领域， 公开 了一种训练试衣模型的方法、 虚拟试衣方法及相 关装置， 采用若干个图像组对应的衣服变形图 像、 身体躯干图和衣服属性向量， 对试衣网络进 行训练， 得到 试衣模型。 其中， 衣服变形图像不仅 保留了衣服特征， 身体躯干图保留了模特的躯干 特征。 此外， 衣服属性向量反映试穿效果中试穿 衣服的属性， 例如 “S码、 宽松、 长袖 ”， 能够有效指 导试衣网络对 试穿衣服的属性进行编辑修改。 从 而， 使得预测试衣图像不仅试穿效果逼真， 而且 能够对试穿衣服的属性进行编辑修改， 例如改变 码数、 长度等。 从而， 训练得到的试衣模 型能够根 据输入的衣服属性， 对试穿衣服进行编辑， 实现 可编辑衣服属性的虚拟试衣效果。 权利要求书2页 说明书18页 附图8页 CN 115439308 A 2022.12.06 CN 115439308 A 1.一种训练试衣模型的方法， 其特征在于， 试衣 网络包括图像生成网络， 所述图像生成 网络包括级联的编码器、 融合模块和解码器； 所述方法包括： 获取若干个图像组， 所述图像组包括衣服图像和模特图像， 所述衣服图像对应有可编 辑的衣服属 性文本信息， 所述模特图像中的模特穿有所述衣服图像中的衣服， 且所述衣服 是按所述衣服属性文本信息进行编辑后的衣服； 对所述衣服属性文本信息进行 特征编码， 得到衣服属性向量； 将所述衣服图像中衣服按所述模特图像中模特的人体结构进行初步变形， 得到衣服变 形图像； 对所述模特图像进行人体解析， 得到第一解析图， 并根据所述第一解析图从所述模特 图像中提取 出身体躯 干图； 将所述衣服变形图像、 所述身体躯干图和所述衣服属性向量， 输入所述图像生成网络， 得到预测试衣图像， 其中， 所述衣服变形图像和所述身体躯干图输入 所述编码器进行编码， 将得到的编 码结果和所述衣服属性向量输入所述融合模块进 行融合， 得到的融合结果输入 所述解码器进行解码， 得到所述预测试衣图像； 采用损失函数计算所述预测试衣图像和所述模特图像之间的损失， 并根据所述若干个 图像组对应的损失和， 对所述试衣网络进行迭代训练， 直至收敛， 得到所述试衣 模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述试衣网络还 包括衣服变形网络； 所述对所述衣服图像中衣服按所述模特图像中模特的人体结构进行初步变形， 得到衣 服变形图像， 包括： 对所述模特图像进行 人体关键点检测， 得到关键点图像； 将所述身体躯干图、 所述关键点图像、 所述衣服图像和所述衣服属性向量， 输入所述衣 服变形网络， 输出 所述衣服变形图像。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一解析图从所述模特图像 中提取出身体躯 干图， 包括： 从所述第一解析图中分离出第二解析图， 其中， 所述第二解析图反映所述模特身体躯 干的像素区域； 对所述第二解析图进行二值化处理， 得到二值化图像， 在所述二值化图像中身体躯干 区域对应的像素为1， 其它区域对应的像素为0； 将所述模特图像中的像素和所述二值化图像中的像素对应位置相乘， 得到所述身体躯 干图。 4.根据权利要求1所述的方法， 其特 征在于， 所述试衣网络还 包括多层感知机模块； 所述对所述衣服属性文本信息进行 特征编码， 得到衣服属性向量， 包括： 采用词袋模型对所述衣服属性文本信息中的各词语进行编码， 得到文本编码； 采用所述多层感知机模块对所述文本编码进行 特征提取， 得到所述衣服属向量。 5.根据权利要求1所述的方法， 其特征在于， 所述融合模块包括第一卷积层、 第二卷积 层和融合层； 所述融合模块采用以下 方式对所述编码结果和所述衣服属性向进行融合处 理： 通过所述第 一卷积层和所述第 二卷积层 分别对所述编码结果进行特征提取， 得到第 一权　利　要　求　书 1/2 页 2 CN 115439308 A 2中间特征图和第二中间特 征图； 通过所述第 一卷积层和所述第 二卷积层 分别对所述衣服属性向量进行特征提取， 得到 第一属性特 征图和第二属性特 征图； 通过所述融合层对所述编码结果、 所述第一中间特征图、 所述第二中间特征图、 所述第 一属性特 征图和所述第二属性特 征图进行融合处 理。 6.根据权利要求5所述的方法， 其特 征在于， 所述融合层采用以下公式进行融合处 理： 其中， x为所述编码结果， μ(x)为所述第一中间特征 图， σ(x)为所述第二中间特征 图， y 为所述衣服属性向量， μ(y)为所述第一属性特征图， σ(y)为所述第二属性特征图， IN(x,y) 为所融合结果。 7.根据权利要求1所述的方法， 其特征在于， 所述损 失函数包括条件对抗损 失、 感知损 失和衣服变形损失， 其中， 所述衣服变形损失反 映所述预测试衣图像中衣服和所述模特图 像中衣服之间的差异。 8.一种虚拟试衣方法， 其特 征在于， 包括： 获取试穿者图像、 待试衣服图像和待试衣服属性文本信息； 将所述待试衣服属性文本信息进行 特征编码， 得到待试衣服属性向量； 将所述待试衣服图像中衣服按所述试穿者图像中人体结构进行初步变形， 得到待试穿 衣服变形图像； 对所述试穿者图像进行人体解析， 得到第一试穿者解析图， 并根据所述第一试穿者解 析图从所述试穿 者图像中提取 出试穿者的身体躯 干图； 将所述待试穿衣服变形图像、 所述试穿者的身体躯干 图和所述待试衣服属性向量， 输 入试衣模型， 生成试衣图像， 其中， 所述试衣模型采用如权利要求1 ‑7中任意一项训练试衣 模型的方法训练得到 。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机设备执行如权利要求1 ‑8任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115439308 A 3