首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

每日论文速递 | 【ICLR24】用语言模型预测表格Tabular

摘要:深度神经网络(DNNs)的可迁移性在图像和语言处理领域取得了显著进展。然而,由于表格之间的异构性,这种DNN的优势在表格数据预测(例如回归或分类任务)方面仍未充分利用。语言模型(LMs)通过从不同领域提炼知识,具有理解来自各种表格的特征名称的能力,有望成为在不同表格和多样化预测任务之间转移知识的多才多艺的学习者,但它们的离散文本表示空间与表格中的数值特征值不兼容。在本文中,我们介绍了TP-BERTa,这是一个专门针对表格数据预测进行预训练的LM模型。具体而言,一种新颖的相对大小标记化将标量数值特征值转换为精细离散的高维标记,而一种内部特征注意方法则将特征值与相应的特征名称集成在一起。全面的实验证明,我们的预训练TP-BERTa在表格DNNs中表现出色,并且在典型的表格数据领域与梯度提升决策树模型相竞争。

01

CVPR2020——D3VO论文阅读

我们提出的D3VO单目视觉里程计框架从三个层面上利用了深度学习网络,分别是:利用深度学习的深度估计,利用深度学习的位姿估计,以及利用深度学习的不确定度估计。首先我们提出了一个在双目视频上训练得到的自监督单目深度估计网络。特别的,它利用预测亮度变换参数,将训练图像对对齐到相似的亮度条件上。另外,我们建模了输入图像像素的亮度不确定性,从而进一步提高深度估计的准确率,并为之后的直接法视觉里程计提供一个关于光照残差的可学习加权函数。评估结果显示,我们提出的网络超过了当前的sota自监督深度估计网络。D3VO将预测深度,位姿以及不确定度紧密结合到一个直接视觉里程计方法中,来同时提升前端追踪以及后端非线性优化性能。我们在KITTI以及EuRoC MAV数据集上评估了D3VO单目视觉里程计的性能。结果显示,D3VO大大超越了传统的sota视觉里程计方法。同时,它也在KITTI数据集上取得了可以和sota的stereo/LiDAR里程计可比较的结果,以及在EuRoC MAV数据集上和sota的VIO可比较的结果。

08

深度学习:实际问题解决指南

当你想进行预测的时候,使用深度学习要比其他机器学习技术更快更有效。 深度学习是一门快速发展的学科,它将数据中高层次化的模式建模成复杂的多层网络。因为这是建模一个问题最一般的方法,深度学习拥有这解决大部分机器学习和人工智能领域问题的潜力。类似微软、谷歌这样的公司使用深度学习来解决诸如语音识别,图像识别,三维物体识别,和自然语言处理等领域的难题。 然而,深度学习需要进行大量的计算来构建一个有用的模型。到目前为止,计算成本和可用性限制了其实际应用。此外,研究人员缺乏理论基础和将深度学习运用到实际问题之中的经验知识

06

ICLR 2019 | 如何理解深度神经网络的泛化性能?谷歌认为可以从「泛化鸿沟」入手

AI 科技评论按:深度神经网络(DNN)作为机器学习的基础,为图像识别、图像分割、机器翻译等诸多领域取得突破性进展做出了重大贡献,然而研究人员始终都无法完全理解支配 DDN 的基本原理。其中,泛化是预测和理解 DNN 在未见过样本上的性能的重要指标,而理解泛化的一个重要概念便是泛化鸿沟(generalization gap)。基于此,谷歌的这篇 ICLR 2019 论文提出使用跨网络层的标准化边际分布作为泛化鸿沟的预测因子,对边际分布与泛化之间的关系进行了实证研究,结果表明边际分布的一些基本统计量可以准确地预测泛化鸿沟。谷歌发表文章对该论文进行了介绍,AI 科技评论编译如下。

03

ICLR 2019 | 如何理解深度神经网络的泛化性能?谷歌认为可以从「泛化鸿沟」入手

AI 科技评论按:深度神经网络(DNN)作为机器学习的基础,为图像识别、图像分割、机器翻译等诸多领域取得突破性进展做出了重大贡献,然而研究人员始终都无法完全理解支配 DDN 的基本原理。其中,泛化是预测和理解 DNN 在未见过样本上的性能的重要指标,而理解泛化的一个重要概念便是泛化鸿沟(generalization gap)。基于此,谷歌的这篇 ICLR 2019 论文提出使用跨网络层的标准化边际分布作为泛化鸿沟的预测因子,对边际分布与泛化之间的关系进行了实证研究,结果表明边际分布的一些基本统计量可以准确地预测泛化鸿沟。谷歌发表文章对该论文进行了介绍,AI 科技评论编译如下。

01

深度学习:实际问题解决指南

当你想进行预测的时候,使用深度学习要比其他机器学习技术更快更有效。 深度学习是一门快速发展的学科,它将数据中高层次化的模式建模成复杂的多层网络。因为这是建模一个问题最一般的方法,深度学习拥有这解决大部分机器学习和人工智能领域问题的潜力。类似微软、谷歌这样的公司使用深度学习来解决诸如语音识别,图像识别,三维物体识别,和自然语言处理等领域的难题。 然而,深度学习需要进行大量的计算来构建一个有用的模型。到目前为止,计算成本和可用性限制了其实际应用。此外,研究人员缺乏理论基础和将深度学习运用到实际问题之中的经验知识

010

最新SOTA!隐式学习场景几何信息进行全局定位

全局视觉定位是指利用单张图像,根据已有的地图,估计相机的绝对姿态(位置和方向)。这种技术可以应用于机器人和增强/虚拟现实等领域。这篇文章的主要贡献是提出了一种利用姿态标签来学习场景的三维几何信息,并利用几何信息来估计相机姿态的方法。具体来说,作者设计了一个学习模型,它可以从图像中预测两种三维几何表示(X, Y, Z坐标),一种是相机坐标系下的,另一种是全局坐标系下的。然后,通过将这两种表示进行刚性对齐,就可以得到与姿态标签匹配的姿态估计。这种方法还可以引入额外的学习约束,比如最小化两种三维表示之间的对齐误差,以及全局三维表示和图像像素之间的重投影误差,从而提高定位精度。在推理阶段,模型可以实时地从单张图像中估计出场景的三维几何信息,并通过对齐得到姿态。作者在三个常用的视觉定位数据集上进行了实验,进行了消融分析,并证明了他们的方法在所有数据集上都超过了现有的回归方法的姿态精度,并且可以实时地从单张图像中估计出场景的三维几何信息,并通过对齐得到姿态。

02

荐读|初学者如何选择合适的机器学习算法

文主要的目标读者是机器学习爱好者或数据科学的初学者,以及对学习和应用机器学习算法解决实际问题抱有浓厚兴趣的读者。 面对大量的机器学习算法,初学者通常会问自己一个典型的问题:「我该使用哪一种算法?」有很多因素会影响这一问题的答案,比如: 数据的大小、质量及性质 可用计算时间 任务的急迫性 数据的使用用途 在没有测试过不同算法之前,即使是经验丰富的数据科学家和机器学习算法开发者也都不能分辨出哪种算法性能最好。我们并不提倡一步到位,但是我们确实希望根据一些明确的因素为算法的选择提供一些参考意见。 机器学习算法速

07

教程 | 初学者如何选择合适的机器学习算法(附速查表)

选自sas 机器之心编译 参与:黄小天、蒋思源、吴攀 本文主要的目标读者是机器学习爱好者或数据科学的初学者,以及对学习和应用机器学习算法解决实际问题抱有浓厚兴趣的读者。面对大量的机器学习算法,初学者通常会问自己一个典型的问题:「我该使用哪一种算法?」有很多因素会影响这一问题的答案,比如: 数据的大小、质量及性质 可用计算时间 任务的急迫性 数据的使用用途 在没有测试过不同算法之前,即使是经验丰富的数据科学家和机器学习算法开发者也都不能分辨出哪种算法性能最好。我们并不提倡一步到位,但是我们确实希望根据一些明确

05

KDD 提前看 | KDD 里的技术实践和突破

数据挖掘、深度学习以及其他机器学习的模型、算法在过去几年一直保持快速发展,研究人员不断提出了大量优秀的模型、算法等,在实验条件下,模型和算法的准确度、处理速度等性能不断提高。一些模型和算法也被应用于实践中,获得了很好的效果。我们从 2019 年 KDD 的录用论文中选取了几篇重点阐述技术实践和突破的文章进行分析和介绍。结合具体行业的特点,例如在线学习系统原始数据异构性强、医疗行业专业词汇可理解性差、气象数据稳定性差以及在线推荐系统智能化需求提升等,研究人员对经典的模型和算法进行了改进和参数调整,以适应具体的场景、满足应用的需要。

03

初学者如何选择合适的机器学习算法(附算法速查表)

来源:机器之心 参与:黄小天、蒋思源、吴攀 校对:谭佳瑶 本文长度为4000字,建议阅读6分钟 本文针对算法的选择为你提供一些参考意见。 本文主要的目标读者是机器学习爱好者或数据科学的初学者,以及对学习和应用机器学习算法解决实际问题抱有浓厚兴趣的读者。面对大量的机器学习算法,初学者通常会问自己一个典型的问题:「我该使用哪一种算法?」有很多因素会影响这一问题的答案,比如: 数据的大小、质量及性质 可用计算时间 任务的急迫性 数据的使用用途 在没有测试过不同算法之前,即使是经验丰富的数据科学家和机器学习算法

06
领券