148.人工智能-MODNet网络模型：实现人像抠图

科技 09-06 来源： UNET

MODNet是一个仅需RGB图片输入的实时人像抠图模型。本文主要演示一下MODNet Python部署，使用的是飞桨FastDeploy。

预训练ONNX的MODNet模型，下载地址：

https://bj.bcebos.com/paddlehub/fastdeploy/modnet_photographic_portrait_matting.onnx

模型	大小	精度
modnet_photographic	25MB	-

实现主要过程

1、加载下载的modnet模型
2、读取人像图片和背景图片（背景图片高度和宽度需要大于人像图像）
3、根据预测结果，返回人像抠图结果。（背景为纯色，前景为人像）
4、人像与背景合成。
（这里使用两种方式合成，一种使用掩模进行图像位操作，一种根据背景像素值遍历）

实现代码:

import cv2
import fastdeploy as fd
import numpy as np

model_file="modnet-onnx/modnet_photographic_portrait_matting.onnx"
model=fd.vision.matting.MODNet(model_file=model_file, params_file="",
                                  runtime_option=None, model_format=fd.Frontend.ONNX)

img=cv2.imread("img/77.jpg") #77.jpg,386.jpg,446.jpg
bg=cv2.imread("img/bg1.jpg")
sbg=bg.copy()
result=model.predict(img.copy())
#print(result)
# 可视化结果
vis_img = fd.vision.vis_matting_alpha(img, result)
#print(vis_img[0,0]) #[153,255,120]

#图像合成，背景图像大小不能小于前景图像,需要调整thresh
def swap_background_matting1(img,bg,thresh=127):
    h0,w0=bg.shape[0],bg.shape[1]
    h,w=img.shape[0],img.shape[1]    
    #在背景中取合并区域，大小与前景一致
    roi=bg[(h0-h)//2:(h0-h)//2+h,(w0-w)//2:(w0-w)//2+w]
    img2gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    ret,mask=cv2.threshold(img2gray,200,255,cv2.THRESH_BINARY)
    kernel=np.ones((5,5),np.uint8)
    mask=cv2.morphologyEx(mask,cv2.MORPH_OPEN,kernel)
    mask_inv=cv2.bitwise_not(mask)    
    roibg=cv2.bitwise_and(roi,roi,mask=mask)
    roifg=cv2.bitwise_and(img,img,mask=mask_inv)
    
    roibgfg=cv2.add(roibg,roifg)
    bg[(h0-h)//2:(h0-h)//2+h,(w0-w)//2:(w0-w)//2+w]=roibgfg    
    return bg
    
# bg=swap_background_matting1(vis_img,bg,200)

#根据背景像素，遍历实现背景与人像合成
def swap_background_matting2(vis_img,bg):
    hbg,wbg=bg.shape[0],bg.shape[1] #背景大小
    hfg,wfg=img.shape[0],img.shape[1] #原图大小
    #遍历人像与背景合成，
    for i in range(hfg):
        for j in range(wfg):
            if vis_img[i,j,0]==vis_img[0,0,0] and vis_img[i,j,1]==vis_img[0,0,1] and vis_img[i,j,2]==vis_img[0,0,2]:
                continue
            bg[i+(hbg-hfg)//2,j+(wbg-wbg)//2] = vis_img[i,j]
    return bg

bg=swap_background_matting2(vis_img,bg)

dst=np.hstack((img,vis_img))
cv2.imshow("result",dst)
bgdst=np.hstack((sbg,bg))
cv2.imshow("bgdst",bgdst)

cv2.waitKey(0)
cv2.destroyAllWindows()