首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ​跨模态编码刺激(视觉-语言大脑编码)实现脑机接口

    实现有效的脑-机接口需要理解人脑如何跨模态(如视觉、语言(或文本)等)编码刺激。大脑编码旨在构建fMRI大脑活动给定的刺激。目前有大量的神经编码模型用于研究大脑对单一模式刺激的编码:视觉(预训练的CNN)或文本(预训练的语言模型)。通过获得单独的视觉和文本表示模型,并使用简单的启发式进行后期融合。然而,以前的工作未能探索:(a)图像转换器模型对视觉刺激编码的有效性,以及(b)协同多模态模型对视觉和文本推理的有效性。在本研究中首次系统地研究和探讨了图像转换器(ViT,DEiT和BEiT)和多模态转换器(VisualBERT,LXMERT和CLIP)对大脑编码的有效性,并发现:VisualBERT是一种多模态转换器,其性能显著优于之前提出的单模态CNN、图像转换器以及其他之前提出的多模态模型,从而建立了新的研究状态。

    02
    领券