有关文本扰动的问题

[hukexin326]

作者您好！
我对论文EXPERIMENTS的D.Exploration of Perturbation on Guided Text Embeddings部分不太理解。我自己的理解是对潜在空间扰动是先DDIM inversion，再reconstruction by optimizing unconditional embeddings，最后在denoise的过程中添加扰动，同时使用自注意力来保持不可察觉性。对文本进行扰动是不是前面都不变，最后在denoise的过程中使用第二大概率的label作为prompt，但是这不会造成最后生成的对抗样本与原图像有较大的不同吗？
我还有一个不明白的地方是，您的方法使用预训练模型，没有训练过程，不对模型进行微调，那最小化损失函数αLattack + βLtransfer + γLstructure有什么作用呢？
期待您的回复，祝您科研顺利！

[WindVChen]

哈喽呀 @hukexin326 ，

对于第一个问题：对于文本扰动的实验，我们扰动的目标不再是latent，而变成了text embedding，可以参考我们文章里的公式(16)，其中优化项是C_2 text embedding。在我们的实验中，文本扰动实际上对于原图像的影响更加小（见表5的FID指标），这可能是因为(1)我们的自注意力很好的约束了图像结构变换；(2)我们inversion的步数较少，所以使得原图的粗糙语义结构都保留了，单凭几步text guidance不会使图像有较大改变。

对于第二个问题：正文里的方法梯度是传递到latent上的哈，可以见公式(6)优化项是x_t，所以DiffAttack是直接对latent进行扰动。

希望有所帮助~