首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

港中文提出LISA大模型:解锁多模态大模型“推理分割”能力

本篇文章分享论文 LISA: Reasoning Segmentation via Large Language Model ,由香港中文大学提出 LISA 大模型,解锁多模态大模型“推理分割”能力。...此外,进一步使用239个推理分割数据进行微调训练还能显著提升LISA在推理分割任务上的性能。...而且LISA还表现出高效的训练特性,只需在8张具有24GB显存的3090显卡上进行10,000次训练迭代,即可完成7B模型的训练。...LISA在训练过程中使用了自回归交叉熵损失函数,以及对分割结果监督的BCE和DICE损失函数。...在有复杂情景的ReasonSeg数据集上,LISA显著领先于其他相关工作(如Table 1),进一步证明其出色的推理分割能力。

97070
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    贾佳亚团队提出LISA大模型:理解人话「分割一切」,在线可玩

    但现在,对于这种人类复杂的自然语言指令,AI已经是没有在怕的了,来看下LISA的表现: 不难看出,LISA精准无误的将橘子分割了出来。 再“投喂”LISA一张图并提问: 是什么让这位女士站的更高?...从结果上来看,LISA不仅识别出来了“梯子”,而且也对问题做出了解释。 还有一个更有意思的例子。 许多朋友在看到这个大模型的名字,或许会联想到女子组合BLACK PINK里的Lisa。...贾佳亚团队还真拿她们的照片做了个测试——让LISALisa: 不得不说,会玩!...基于LISA,复杂分割任务拿下SOTA 根据发布的论文来看,LISA是一个多模态大模型,它在这次研究中主攻的任务便是推理分割(Reasoning Segmentation)。...那么LISA这种精准理解人话的分割能力,具体是如何实现的呢?

    38320
    领券