• 被认定为“上线一个月以来收益最多的手游”

• “最快取得1亿美元收益的手游（耗时20天）”

• “上线一个月后下载次数（约1.3亿次）”

• “上线一个月后在最多国家下载次数排行第一（约70多个国家）”

• “上线一个月后的收益额在最多国家排行第一（约55个国家）”

方案主要模块

本文介绍的内容及代码均可在下面项目中获取：

https://github.com/kevinfu1717/SuperInterstellarTerminal

微信聊天机器人互动展示gif，在微信中体验AR寻找外星人：

├── CityscapesModule.py
└── PetModel
    ├── modelCityscape.pdparams
    ├── pretrainedCityscape.pdparams
    └──mscale_ocr_cityscapes_autolabel_mapillary_ms_val.yml

• 图像分割实现定位

#把图片送入cistyScaperClass中的run，即可获取分割图
    def run(self,image):
        pred=[]
        try:
            t1=time.time()
            ## 前处理
            im,ori_shape=preProcess(image,self.transforms)
            print('seg time',time.time()-t1)
            t2=time.time()
            with paddle.no_grad():
                ## 预测 并进行后处理（如：转换回原图的尺寸）
                pred = infer.inference(
                self.segModel,
                im,
                ori_shape=ori_shape,
                transforms=self.transforms.transforms,)
                pred = paddle.squeeze(pred)
                pred = pred.numpy().astype('uint8')

            print('seg time',time.time()-t2)
        except Exception as e:
            print(e)
            return self.resultCode[7],pred
        #pred为结果，是一个二维数组，该数组尺寸与原图一样，每个像素的值对应类别，从0~17类
        return  self.resultCode[4],pred

• CityscapesModule.py中把pred ×10后保存成图片，见右下图（图片像素的灰度值从0~180）。
  
  

2.1.  GAN的训练图片：

2.2.  数据增广：

• 尝试过用midars模型或CV来提取单个外星生物，但效果都不是很好。所以，最终只使用水平翻转，增加了一倍的数量。尽管可以通过爬取来增加数量，但越到后面，爬取的图片越杂乱，而且没有相关性。所以还是通过水平翻转来处理。

• 最终训练使用3000多张图片，经水平翻转增广后，投入训练的有6000多张。

• 后续与PaddleGAN方向的工程师进行沟通。他们给了几个不错的建议可进行尝试：

  每次训练生成的比较好效果的图片再投入进行作为训练样本。
  基于训练图进行颜色变换。

2.3. 模型训练

1. 训练模型选用LSGAN，可能StyleGAN V2效果会更好，大家可以在PaddleGAN中尝试直接尝试StyleGAN V2模型。

1. LSGAN模型的搭建基于AI Studio上的项目通过LSGAN以及WGAN-GP实现128*128大小的喀纳斯风景图片 。在其基础上，每个Epoch执行更多的Generation，以及修改了其中的超参数。

2. 训练过程。训练过程中可看到还是有不稳定的情况，判别器loss突然高，出现完全花了的图。Epoch 0 ~ Epoch 999 的训练过程见下图：

1. 大概在200 Epochs就已经差不多，再训练到1000 Epochs反而效果还下降了。
2. 最终会有不少彩色的杂点。
3. 生成的外星生物矢量图有些还保留训练图的方格背景之类的。
4. 生成的外星生物可能有部分过拟合，与原来的训练照片有点像。

1. 因GAN直接生成的图片效果还不完美，我们把其叠加到现实图像中做AR效果时，使用cv处理优化这部分，如：开闭运算，seamlessclone时设置不同的参数等，去掉周围的杂色。

2. 已训练好的模型见AI Studio数据页：

   https://aistudio.baidu.com/aistudio/datasetdetail/103316

3. 训练项目见：

   https://aistudio.baidu.com/aistudio/projectdetail/2210138?shared=1

4. 整体来说生成的还行，对比外国网友用GAN来生成宠物小精灵的效果，这个还是相当可以的。

1. 实现对应位置的叠加AR效果。如：天空中出现飞在天上的外星飞碟或外星生物，树丛中会出现喜欢在树上的草食性外星生物。基于分割模型得到图像中对应事物mask区域，例如哪里是天空，哪里是人行道，按照外星生物可存在的位置判断是否出现外星生物，及其出现位置。

2. 融合粘贴部分可使用DL的方法Deep Painterly Harmonization ,也可以使用普通图像处理的方式实现。我这里先用图像处理的方式实现，需调用OpenCV的 seamlessClone。根据外星生物的特性使用cv2.seamleClone，参数选用MIXED_CLONE或NORMAL_CLONE。MIXED_CLONE或NORMAL_CLONE差异见下方所述。
3. 分析对比cv2.seamlessClone三种图像合成效果

# 会把src图的边缘进行模糊化，同时整个src图的色彩融合到dst中->需要src图较清晰，dst背景较简单，可以接受src图周边边缘模糊的场景
cv2.seamlessClone(src, dst, src_mask, center, cv2.NORMAL_CLONE)

# 基于透明度的融合，src图中白色的区域会显得透明度高，看起来叠加的颜色比较透->适合dst背景较复杂，但对src图清晰度要求不高，src图背景是白色的场景
cv2.seamlessClone(src, dst, src_mask, center, cv2.MIXED_CLONE)

# 会把src图变成灰度图合成到dst中->暂时看不到什么好用途
cv2.seamlessClone(src, dst, src_mask, center, cv2.MONOCHROME_TRANSFER)

• 4.1.把src的外星生物图转成HSV格式，通过V通道，V大于200得到二值化的mask。HSV的V分量可以当作是亮度，在本次LSGAN生成的外星人中基本都是白色底的，可以抠去白色底
• 4.2.二值化的图进行开运算。去除LSGAN中生成的一些彩色噪声点，得到外星生物的mask，宁愿漏也不要去多了。因为合成时有个渐变，自然就把杂点淡化了。
• 4.3.把2中的二值化图进行边缘裁切，使mask图的四个边都有白色区域接触。这可能是seamlessClone的一个bug，若白色区域不接触图像边缘，其合成时的位置是按白色区域的中心点位置，不是mask图像的中心点位置，切记！
• 4.4.根据裁切后的mask，重新计算中心点左边center=(x,y)。seamlessClone的center参数是src的中心点在dst图中的位置。
  
  

实现过程：

1. PaddleHub landmark模型作为人脸与外星脸对齐的基础点。landmark的68个人脸关键点模型具体介绍请见官方介绍：

   https://github.com/PaddlePaddle/PaddleHub/tree/release/v2.1/modules/image/keypoint_detection/face_landmark_localization

2. 找到一张外星人正面的照片与侧面的照片，扣出其形象保存图片。我们需要手动用labelme的keypoint为其标上68个关键点，大概就好，不用太精确。landmark数据按labelme格式保存到json中。

3. 对用户发来的图片，利用PaddleHub的landmark模型获取图片中的人脸特征点。判断是正脸还是侧脸，根据正脸或侧脸使用对应的外星人照片。若角度太偏则不进行处理。然后，使用landmark中脸颊的特征点求中点进行人脸图像位置上的对齐。并根据用户图片的人脸对外星人人脸进行大小调整。

• 截取外星人人脸，生成一个上到下的渐透明的遮罩图。用cv2.seamlessCloned的NORMAL_CLONE复制到原人脸位置，但因为seamlessClone没法调参数的，外星人形象融在背景里面，不太明显不清晰。

• 截取外星人人脸及颈部及上半身，生成一个上到下的渐透明的遮罩图。用cv2.addWeight把外星人脸与1中所述的人脸进行透明度融合。

直接把外星人脸贴到用户图上边缘会很硬，如上图中的左图。项目中，还用了双重叠加方式，使外星人脸融合更佳自然，具体方法及代码请见项目。

实现过程：

# 把图片style，content转到yuv空间
yuv = cv2.cvtColor(np.float32(style), cv2.COLOR_BGR2YUV)
y, u, v = cv2.split(yuv)
yuv2 = cv2.cvtColor(np.float32(content), cv2.COLOR_BGR2YUV)
h, j, k = cv2.split(yuv2)

# 根据ratio这个比例来合成 style 与 content两张图
hy = np.array((h * ratio + y * (1 - ratio)), 'uint8')
# hy = np.clip(hy, 0, 255)

# 两张图进行合成
content = np.dstack((hy, u, v))
content = cv2.cvtColor(np.float32(content), cv2.COLOR_YUV2BGR)

风格迁移：

• 风格迁移可以说是深度学习在艺术上最早的应用，在2016年时就出现了 Neural Style ，之后pixel2pixel等一系列的模型也陆续出现。MSG-Net。因为PaddleHub中的msgnet是用COCO数据集与油画数据集训练的，直接使用迁移成流沙或沙画风格，效果不太好。所以需要进行finetune。

训练：

    checkpoint='/home/aistudio/model/msgnet/style_paddle.pdparams'
    model = hub.Module(name='msgnet',load_checkpoint=checkpoint)

    print(type(model),' parameters nums:',len(model.parameters()))
    ##
    for index,param in enumerate(model.parameters()):
        # model的前25层设置成不进行梯度更新
        if index>25:
            param.stop_gradient=False
        else:
            param.stop_gradient=True

optimizer = paddle.optimizer.Adam(learning_rate=0.0001, parameters=model.parameters())
trainer = Trainer(model, optimizer,use_gpu=True,use_vdl=True, checkpoint_dir='test_style_ckpt')
trainer.train(styledata, epochs=65, batch_size=32, eval_dataset=None, log_interval=10)

使用：

长按下方二维码立即

Star

更多信息：

1. 飞桨官方QQ群：793866180

2. 飞桨官网网址：

   www.paddlepaddle.org.cn/

3. 飞桨开源框架项目地址：

   GitHub:

   github.com/PaddlePaddle/Paddle 
   Gitee:

   gitee.com/paddlepaddle/Paddle

4. 欢迎在飞桨论坛讨论交流~~

   http://discuss.paddlepaddle.org.cn