首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

联邦学习 OR 迁移学习?No,我们需要联邦迁移学习

海量训练数据是现代机器学习算法、人工智能技术在各个领域中应用获得成功的重要条件。例如,计算机视觉和电子商务推荐系统中的 AI 算法都依赖于大规模的标记良好的数据集才能获得较好的处理效果,如 ImageNet 等。然而在一些应用领域中,例如医学领域、经济学领域以及一些政务信息化领域中,海量的可用训练数据往往是非常有限的。存在这些问题的主要原因:一是,针对机器学习算法的数据标注任务需要专业的知识和经验才能完成,这种预处理任务的成本非常高,往往无法获得机器学习所需要的足够的标注数据。二是,各个行业对数据隐私和数据安全的保护越来越强,在一定程度上也限制了对训练数据的共享,也就进一步加剧了可用的标注数据缺乏的问题。

03

​跨模态编码刺激(视觉-语言大脑编码)实现脑机接口

实现有效的脑-机接口需要理解人脑如何跨模态(如视觉、语言(或文本)等)编码刺激。大脑编码旨在构建fMRI大脑活动给定的刺激。目前有大量的神经编码模型用于研究大脑对单一模式刺激的编码:视觉(预训练的CNN)或文本(预训练的语言模型)。通过获得单独的视觉和文本表示模型,并使用简单的启发式进行后期融合。然而,以前的工作未能探索:(a)图像转换器模型对视觉刺激编码的有效性,以及(b)协同多模态模型对视觉和文本推理的有效性。在本研究中首次系统地研究和探讨了图像转换器(ViT,DEiT和BEiT)和多模态转换器(VisualBERT,LXMERT和CLIP)对大脑编码的有效性,并发现:VisualBERT是一种多模态转换器,其性能显著优于之前提出的单模态CNN、图像转换器以及其他之前提出的多模态模型,从而建立了新的研究状态。

02
领券