CNN直接处理YUV图像

在ISP pipe中,最后输出的一般都是YUV图像,YUV420的数据量是RGB数据量的两倍,我们在送入CNN处理的时候处理RGB图像居多,如果CNN也可以直接输入YUV图像,那么前级需要的带宽就会减为输入RGB图的一半。

YUVMultiNet提供了一种实用的结构来处理YUV图像。这篇博客只会介绍处理YUV的这种结构,如果对MultiNet感兴趣可以移步原文:https://arxiv.org/pdf/1904.05673.pdf

在ISP SOC中我们最终输出的图像都是YUV的:

使用网络处理YUV输入时,Y和UV分别处理,UV使用stride1,Y使用stride2,得到相同分辨率中间层结果后contact(级联)起来:

实际用起来就是红框中这样

这样我们就把YUV数据放到一起,输入CNN了。

发表评论