首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    清华 & 阿里 开源 ConvLLaVA | 替代 Vision Transformer,解决图像处理中 Token 过多问题!

    大型多模态模型近年来取得了显著进展,在包括图像和视频理解、数字代理开发[53]和机器人技术[24]在内的多个领域表现出卓越性能。要理解和处理广泛任务和复杂场景的必要性凸显了视觉编码器的重要性,而视觉编码器主要是指Vision Transformer。然而,ViT的二次空间复杂性和过多的视觉标记输出限制了其在多样和高分辨率任务中的应用。过多的视觉标记导致大型语言模型的计算负担大幅增加,远远超过了视觉编码器中二次空间复杂度引起的计算成本。这种视觉标记的冗余不仅牺牲了效率,还阻碍了视觉信息的有效提取[31;11]。尽管提出了一系列方法(表1;[31;27;49])来修正ViT的二次空间复杂度,但它们未能解决视觉标记冗余的关键问题[5;28]。

    01

    windows虚拟显示器SDK开发和提供

    这周末闲来无事,整理了下虚拟显示器的源码,发现有几个项目都用到了,但是使用的功能不尽相同: (1)最简单的运用仅仅是需要显示器的拔插; (2)稍微复杂一点的是需要设置显示器的分辨率,包括标准的分辨率,如19201080,还包括非标准的分辨率,如1120900; (3)再复杂一点的需要设置显示器名称、刷新频率、获取虚拟显示器屏幕图像信息。 再观察我的那几个项目,都重复的导入了源码,每次发现一个bug,改了一个,另外一个忘记同步了,造成代码维护的不便,所以此次将虚拟显示器部分的代码进行提取,单独封装成一个SDK,只要项目中有用到都使用这个SDK即可。

    04

    StyleSwin: Transformer-based GAN for High-resolution Image Generation

    尽管Transformer在广泛的视觉任务中取得了诱人的成功,但在高分辨率图像生成建模方面,Transformer还没有表现出与ConvNets同等的能力。在本文中,我们试图探索使用Transformer来构建用于高分辨率图像合成的生成对抗性网络。为此,我们认为局部注意力对于在计算效率和建模能力之间取得平衡至关重要。因此,所提出的生成器在基于风格的架构中采用了Swin Transformer。为了实现更大的感受野,我们提出了双重关注,它同时利用了局部窗口和偏移窗口的上下文,从而提高了生成质量。此外,我们表明,提供基于窗口的Transformer中丢失的绝对位置的知识极大地有利于生成质量。所提出的StyleSwan可扩展到高分辨率,粗糙的几何结构和精细的结构都得益于Transformer的强大表现力。然而,在高分辨率合成期间会出现块伪影,因为以块方式执行局部关注可能会破坏空间相干性。为了解决这个问题,我们实证研究了各种解决方案,其中我们发现使用小波鉴别器来检查频谱差异可以有效地抑制伪影。大量实验表明,它优于现有的基于Transformer的GANs,尤其是在高分辨率(例如1024×1024)方面。StyleWin在没有复杂训练策略的情况下,在CelebA HQ 1024上优于StyleGAN,在FFHQ-1024上实现了同等性能,证明了使用Transformer生成高分辨率图像的前景。

    02
    领券