多模态匹配模型之图像预处理EfficientNet算法

　　多模态匹配
　　两个商品的名称各异（如iPhone 和苹果）， 但是它们的图像往往是相同或相似的，为此考虑引入商品的图像信息来进行辅助聚合。以计算商品相似度为例：
　　将商品的名称和图像分别通过文本编码器和图像编码器得到对应的向量表示后，再进行拼接作为最终的商品向量，最后使用余弦相似度来衡量商品之间的相似度。文本编码器：使用文本预训练模型 BERT作为文本编码器，将输出平均池化后作为文本的向量表示
　　图像编码器：使用图像预训练模型 EfficientNet作为图像编码器，提取网络最后一层输出作为图像的向量表示 EfficientNet模型
　　EfficientNet是一种先进的卷积神经网络，由谷歌在2019年的论文＂efficient entnet: Rethinking Model Scaling for convolutional neural Networks＂中训练并发布。EfficientNet有8种可选实现(B0到B7)，甚至最简单的EfficientNet B0也是非常出色的。通过530万个参数，实现了77.1%的最高精度性能。
　　EfficientNet作者希望找到一个可以同时兼顾速度与精度的模型放缩方法，而提高模型性能基本从下面三个维度考虑：网络深度、网络宽度、图像分辨率。如 ResNet-18 到 ResNet-152 是通过增加网络深度的方法来提高准确率，通过深度增加来提取更多复杂的特征，提取的信息更为丰富。GoogLeNet的Inception结构则是通过增加宽度来提高准确率。作者认为深度、宽度、分辨率这三个维度是互相影响的，三者需要达到一个平衡，要探索出三者之间最好的组合，最后提出了EfficientNet，它是第一个量化三个维度之间关系的网络。
　　网络深度——神经网络的层数 网络宽度——每层的通道数 网络分辨率——是指网络中特征图的分辨率（如224×224）
　　EfficientNet模型的调参示意图：
　　图a是baseline（基础网络），图b，c，d三个网络分别对该基础网络的宽度、深度、和输入分辨率（resolution）进行了扩展，即单独对某一个维度进行扩展，而最右边的e图，就是EfficientNet的主要思想，综合宽度、深度和分辨率对网络进行扩展，平衡了三个维度，并且需要一个很好的baseline，在这样的基础网络上进行平衡效果会更好。
　　重点结论：放大网络宽度、深度或分辨率中任何一个维度都可以提高准确率，但是对于更大的模型准确率的收益减少，如ResNet可以深度增加到1000层，但是准确率和101层基本相同，准确率很快饱和，准确曲线变平稳，增加很少。
　　问题：既然三者是有联系的，那么如何平衡三者，让网络达到最优呢？
　　在这篇文章中，我们提出了一个新的复合缩放方法，使用一个复合系数ϕ 来缩放网络宽度，深度和分辨率。如下图，d、w、r表述三个复合系数，并且限制α⋅β2⋅γ 2≈2，其中α，β，γ≥1，这样可以使得计算量每次增加基本相同的量，且不会增加太大。
　　EfficientNet-B0是用MnasNet的方法搜出来的，利用这个作为baseline来联合调整深度、宽度以及分辨率的效果明显要比ResNet或者MobileNetV2要好，由此可见强化学习搜出来的网络架构上限可能更高。
　　发现了对于EfficientNet-B0来说最好的值是α = 1.2 , β = 1.1 , γ = 1.15 ，这样就找到了baseline中三者最好的值，在这个baseline上进行平衡调整，通过调整公式中α，β，γ，并在限制α⋅β2⋅γ 2≈2下，通过不同的ϕ 放大baseline网络，得到了Efficient-B1到B7，Efficient-B7效果最好，如下图。
　　EfficientNet-B7在ImageNet上达到了最好的水平，即top-1准确率84.4%/top-5准确率97.1%，然而却比已有的最好的卷积网络GPipe模型小了8.4倍，并且运算时间快了6.1倍，EfficientNet-B0的总层数是237层，而EfficientNet-B7的总数是813层。
　　该模型的构建方法主要包括以下2个步骤：使用强化学习算法实现的MnasNet模型生成基线模型EfficientNet-B0。
　　采用复合缩放的方法，在预先设定的内存和计算量大小的限制条件下，对EfficientNet-B0模型的深度、宽度（特征图的通道数）、图片大小这三个维度都同时进行缩放，这三个维度的缩放比例由网格搜索得到。最终输出了EfficientNet模型。 MnasNet模型
　　MnasNet模型是Google 团队提出的一种资源约束的终端 CNN 模型的自动神经结构搜索方法。该方法使用强化学习的思路进行实现
　　MnasNet: Platform-Aware Neural Architecture Search for Mobile，探讨了一种使用强化学习设计移动端模型的自动化神经架构搜索方法。为了解决移动设备的速度限制，明确地将速度信息纳入搜索算法的主要奖励函数中，以便该搜索能够识别在准确度和速度之间达到良好折中的模型。
　　MnasNet其整个流程主要由三部分组成：一个基于 RNN 的控制器，用于学习模型架构并进行采取；一个训练器，用于构建和训练模型以获得准确度；还有一个推理引擎，可使用 TensorFlow Lite 在真实手机上测量模型速度。我们构想出了一个多目标优化问题，以期同时实现高准确度和高速度，并且采用带有自定义奖励函数的强化学习算法来寻找帕累托最优解（例如，能够达到最高准确度但又不会拉低速度的模型）
　　MNasNet的延迟是通过在实际硬件上测出来的真实值，使用的设备是谷歌的Pixel手机，而传统的方法是使用FLOPS作为性能评价标准。EfficientNet使用
　　在TensorFlow的官方版本中，最新的代码里也已经合入了EfficientNet-B0到EfficientNet-B7的模型代码，在tf.keras框架下，可以像使用ResNet模型一样,一行代码就可以完成预训练模型的下载和加载的过程。from tensorflow.keras.applications import EfficientNetB0  image = imread(＂test.jpg＂) # 加载预训练模型 model = EfficientNetB0(weights=＂imagenet＂)  # 输入处理 image_size = model.input_shape[1] x = center_crop_and_resize(image, image_size=image_size) x = preprocess_input(x) x = np.expand_dims(x, 0)  # 预测及解码 y = model.predict(x) decode_predictions(y) # 加载EfficientNet（只是网络结构，无预训练参数） from efficientnet_pytorch import EfficientNet model = EfficientNet.from_name(＂efficientnet-b0＂) # 加载预训练EfficientNet model = EfficientNet.from_pretrained(＂efficientnet-b5＂) print(model)  # 特征提取 # Preprocess image tfms = transforms.Compose([transforms.Resize(224), transforms.ToTensor(),     transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),]) img = tfms(Image.open(＂img.jpg＂)).unsqueeze(0) print(img.shape) # torch.Size([1, 3, 224, 224]) # 提取特征 features = model.extract_features(img)
　　EfficientNet号称是最好的分类网络，对于单纯的端到端分类任务，EfficientNet的系列模型是最优选择。但作为更细粒度的语义分割任务，在骨干网的特征环节，如果显存有限，则EfficientNet系列模型并不是最优选择。主要原因是该系列模型对GPU的显存占有率过高。