CLIP论文笔记

CLIP(Contrastive Language-Image Pre-training),OpenAI给的title:Connecting text and images,被用作文本监督信号来训练可迁移的视觉模型。CLIP是一种基于对比学习的多模态模型,训练数据是文本-图像对(一张图像和其对应的文本描述),模型能够学习到文本-图像对的匹配关系。以下内容搜集自论文、知乎、OpenAI Blog Page (一手资料参阅以下链接的openai blog)

论文:https://arxiv.org/abs/2103.00020

BLOG:https://openai.com/blog/clip/

Github:https://github.com/openai/CLIP

知乎:(https://zhuanlan.zhihu.com/p/493489688

如下图所示,CLIP包括两个模型Text Encoder和Image Encoder,其中Text Encoder用来提取文本的特征,可以采用NLP中常用的text transformer模型;而Image Encoder用来提取图像特征,可以用常用的CNN模型或者vision transformer。

这里对提取的文本特征和图像特征进行对比学习。对于一个包含N个文本=图像对的训练batch,将N个文本特征和N个图像特征两两组合,CLIP模型会预测出N^2个可能的文本-图像对的相似度,这里的相似度计算直接使用文本特征和图像特征的余弦相似性(cosine similarity),即上图所示的矩阵。这里共有N个正样本(对角线元素),剩余N^2-N个负样本,那么CLIP的训练目标就是最大N个正样本的相似度,同时最小化N^2-N个负样本的相似度。

伪代码实现:

# image_encoder - ResNet or Vision Transformer
# text_encoder - CBOW or Text Transformer
# I[n, h, w, c] - minibatch of aligned images
# T[n, l] - minibatch of aligned texts
# W_i[d_i, d_e] - learned proj of image to embed
# W_t[d_t, d_e] - learned proj of text to embed
# t - learned temperature parameter

# 分别提取图像特征和文本特征
I_f = image_encoder(I) #[n, d_i]
T_f = text_encoder(T) #[n, d_t]

# 对两个特征进行线性投射,得到相同维度的特征,并进行l2归一化
I_e = l2_normalize(np.dot(I_f, W_i), axis=1)
T_e = l2_normalize(np.dot(T_f, W_t), axis=1)

# 计算缩放的余弦相似度:[n, n]
logits = np.dot(I_e, T_e.T) * np.exp(t)

# 对称的对比学习损失:等价于N个类别的cross_entropy_loss
labels = np.arange(n) # 对角线元素的labels
loss_i = cross_entropy_loss(logits, labels, axis=0)
loss_t = cross_entropy_loss(logits, labels, axis=1)
loss = (loss_i + loss_t)/2

为了训练CLIP,OpenAI从互联网收集了共4亿个文本-图像对,论文称之为WebImageText。

CLIP虽然是多模态模型,但它主要是用来训练可迁移的视觉模型。论文中的Text Encoder固定选择一个包含63M参数的text transformer模型,而Image Encoder采用两种不同的架构,一种是CNN架构ResNet,另一种是transformer架构的ViT,论文对比了这两类不同大小的模型的效果。训练的batch size为32768,AdamW优化器训练32个epochs,Vit需要在592个V100卡上训练18填,Vit-L需要在256张V100卡上训练12天,最终发现效果最佳的模型为ViT-L/14@336, 论文中精选对比实验的CLIP模型也采用这个。

使用CLIP实现zero-shot分类

论文利用CLIP的多模态特性为具体任务构建了动态的分类器,其中Text Encoder提取的文本特征可以堪称分类器的weights,而Image Encoder提取的图像特征是分类器的输入。

OpenAI的notebook给了一个例子(https://github.com/openai/CLIP/blob/main/notebooks/Interacting_with_CLIP.ipynb),我们构建一个具有6个类别的分类任务:”dog”, “cat”, “bird”, “person”, “mushroom”, “cup”, 首先我们创建文本描述,然后提取文本特征:

# 首先生成每个类别的文本描述
labels = ["dog", "cat", "bird", "person", "mushroom", "cup"]
text_descriptions = [f"A photo of a {label}" for label in labels]
text_tokens = clip.tokenize(text_descriptions).cuda()

# 提取文本特征
with torch.no_grad():
    text_features = model.encode_text(text_tokens).float()
    text_features /= text_features.norm(dim=-1, keepdim=True)

然后读取要预测的图像,输入Image Encoder提取图像特征,并计算与文本特征的余弦相似度:

# 读取图像
original_images = []
images = []
texts = []

for label in labels:
    image_file = os.path.join("images", label+".jpg")
    name = os.path.basename(image_file).split('.')[0]

    image = Image.open(image_file).convert("RGB")
    original_images.append(image)
    images.append(preprocess(image))
    texts.append(name)

image_input = torch.tensor(np.stack(images)).cuda()

# 提取图像特征  
with torch.no_grad():
    image_features = model.encode_image(image_input).float()
    image_features /= image_features.norm(dim=-1, keepdim=True)

# 计算余弦相似度(未缩放)
similarity = text_features.cpu().numpy() @ image_features.cpu().numpy().T

相似度如下所示,可以看到对于要预测的6个图像,按照最大相似度,其均能匹配到正确的文本标签

进一步,我们也可以对余弦相似度计算softmax,得到每个预测类别的最大概率值,这样就是CLIP进行了zero-shot分类。

CLIP另一个比较重要的应用是文本描述的生成,比如我们可以用上述类别标签,构建合适的prompt给到下游任务,CLIP给出的为类别的描述文本,类别描述文本比起单个字符的类别标签对下游任务提升更大。

CLIP用在分类任务上表现优秀,但是在一些特别的,复杂的或者抽象的数据集上表现较差,比如卫星图像分类、淋巴结转移检测,在合成场景中计数等。CLIP域外泛化性较差(比如MINIST数据集分类准确度只有88%,作者发现4亿的数据集中基本没有和MNIST比较相似的数据,这对CLIP来说属于域外数据了)

除了zero-shot对比,论嗯还对比few-shot性能,即只用少量样本来微调模型,这里对比了3个模型:在ImageNet21K上训练的BiT-M ResNet-152×2,基于SimCLRv2训练的ResNet50,以及有监督训练的ResNet50。可以看到CLIP的zero-shot和最好的模型(BiT-M)在16-shot下的性能相当,而CLIP在16-shot下效果有进一步的提升。另外一个比较有意思的结果是:虽然CLIP在few-shot实验中随着样本量增加性能有提升,但是1-shot和2-shot性能比zero-shot还差,这个作者认为主要是CLIP的训练和常规的有监督训练存在一定的差异造成的。

除此之外,论文还进行了表征学习(representation Learning)实验,即子监督学习中常用的linear probe:用与训练好的模型先提取特征,然后用一个线性分类器来进行有监督训练。下图为不同模型在27个数据集上的average linear probe score对比,可以看到CLIP模型在性能上超过其它模型

论文还测试了CLIP的自然分布漂移上表现更鲁棒

CLIP能实现这么好的zero-shot性能,大家很可能质疑CLIP的训练数据集可能包含一些测试数据集中的样例,即所谓的数据泄漏。关于这点,论文也采用一个重复检测器对评测的数据集重合做了检查,发现重合率的中位数为2.2%,而平均值在3.2%,去重前后大部分数据集的性能没有太大的变化。

论文的最后也对CLIP的局限性做了讨论,这里简单总结其中比较重要的几点:

  • CLIP的zero-shot性能虽然和有监督的ResNet50相当,但是还不是SOTA,作者估计要达到SOTA的效果,CLIP还需要增加1000x的计算量,这是难以想象的;
  • CLIP的zero-shot在某些数据集上表现较差,如细粒度分类,抽象任务等;
  • CLIP在自然分布漂移上表现鲁棒,但是依然存在域外泛化问题,即如果测试数据集的分布和训练集相差较大,CLIP会表现较差;
  • CLIP并没有解决深度学习的数据效率低下难题,训练CLIP需要大量的数据;

发表评论