作者:Bex T翻译:wwl 校对:张睿毅本文约3200字,建议阅读8分钟计算类数据科学库,已经不再局限在Pandas、NumPy、Scikit-learn之内了! 动机 2023年的开始,自然需要探索数据科学和机器学习的新趋势。经典的数据科学库Pandas、NumPy、Matplotlib、Scikit-learn虽然很重要,但是已经不够用了。 这个系列的上一篇文章(https://towardsdatascience.com/8-booming-data-science-libraries-you-mu
选自Medium 作者:David Lee 机器之心编译 编辑:魔王、杜伟 计算机视觉可以学习美式手语,进而帮助听力障碍群体吗?数据科学家 David Lee 用一个项目给出了答案。 如果听不到了,你会怎么办?如果只能用手语交流呢? 当对方无法理解你时,即使像订餐、讨论财务事项,甚至和朋友家人对话这样简单的事情也可能令你气馁。 对普通人而言轻轻松松的事情对于听障群体可能是很困难的,他们甚至还会因此遭到歧视。在很多场景下,他们无法获取合格的翻译服务,从而导致失业、社会隔绝和公共卫生问题。 为了让更多人听到
机器之心报道 机器之心编辑部 在今年 5 月份的 Stack Overflow 2020 全球开发者调查报告中,JavaScript 连续八年荣登最常用编程语言榜首。在 7 月份的 IEEE 2020 编程语言排行榜中,JavaScript 位列 top 10 编程语言榜单的第五名。近日,分析公司 SlashData 公布了 2020 年第 3 季度的《开发者报告》(第 19 版),对全球 159 个国家或地区的 17000 多名开发者展开了调查。 根据 SlashData 的调查结果显示,JavaScr
如果你从事软件开发,你就会知道 Bug 是生活的一部分。当你开始你的项目时,Bug 就可能存在,当你把你的产品交付给客户时,Bug 也可能存在。在过去的几十年中,软件开发社区已经开发了许多的技术工具、IDE、代码库等来帮助开发者尽早地发现 Bug,以避免在产品交付的时候仍旧存在 Bug。
机器之心报道 机器之心编辑部 走机器的路,让你看一下。 在机器人研究领域,给定某一特定任务之后,如何规划机器人的运动方式至关重要。 最近,GitHub 上开源了一个存储库,该库实现了机器人技术中常用的一些路径规划算法,大部分代码是用 Python 实现的。值得一提的是,开发者用 plotting 为每种算法演示了动画运行过程,直观清晰。 项目地址: https://github.com/zhm-real/PathPlanning 该开源库中实现的路径规划算法包括基于搜索和基于采样的规划算法,具体目录如下
一周前,亚马逊启动了 SageMaker Studio 的免费简化版 SageMaker Studio Lab,提供了一个时限为12小时的 CPU 实例和一个时限为 4 小时的 GPU 实例。SageMaker Studio Lab 成为继 Google Colab、Kaggle 和 Paperspace 之后的又一个免费深度学习计算空间。
从大量文本中解锁准确且富有洞察力的答案是大型语言模型 (LLM) 所实现的一项令人兴奋的功能。在构建 LLM 应用程序时,通常需要连接和查询外部数据源以为模型提供相关上下文。一种流行的方法是使用检索增强生成(RAG)来创建问答系统,该系统可以理解复杂的信息并对查询提供自然的响应。 RAG 允许模型利用庞大的知识库,并为聊天机器人和企业搜索助手等应用程序提供类似人类的对话。
TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开放源机器学习 (ML) 库,此类 DNN 需要分布式训练,并且在多个主机上使用多个 GPU。Amazon SageMaker 是一项托管服务,可通过主动学习、超参数优化、模型分布式训练、监控训练进展,部署培训模型作为自动扩展的 RESTful 服务,以及对并发 ML 实验进行集中式管理,从标签数据开始简化 ML 工作流。
选自thenewstack 作者:David Cassel 机器之心编译 编辑:小舟、张倩 在手机快没电时,管理软件往往会提醒我们关掉某些耗电量高的应用。可见,除了硬件厂商外,软件厂商也应该重视能耗问题。在这篇文章中,研究者分析了一下各种编程语言的能耗对比。 当能耗也成为了一个重要指标,我们要怎么选择编程语言?2017 年,由 6 名葡萄牙研究者组成的团队决定对这一问题进行调查并发表了一篇名为《Energy Efficiency Across Programming Languages》的论文。他们用
这大概就是为什么亚马逊开发了AutoGluon,这是一个开放源代码库,旨在使开发人员仅用几行代码即可编写AI嵌入的应用程序。它已经在GitHub上公开发布。
选自medium 作者:Daniel Anderson 机器之心编译 编辑:陈萍 在代码中用一堆嵌套,花大量时间写出漂亮的代码但最后才发现无法运行,不给任务留缓冲时间…… 这是很多新手程序员都踩过的雷。在这篇文章中,一位全栈首席开发者总结了高级开发人员的 19 个编码原则,可以帮助新手少踩些坑。 进行软件开发,整天敲代码、好不容易调试成功,但是代码的质量堪忧,可读性不是很高,反过头来还得对代码进行完善。也许这不是你的编码能力问题,很有可能在你进行代码编写时,一些看似不重要的编码注意事项没有遵守。这有一份高级
近期,AI领域不断涌现出重大的变革和创新,其中包括大规模模型的问世和AIGC技术的快速迭代发展。每天都有新技术、新算法不断涌现,更大型的模型也层出不穷。AI技术已经渗透到了各行各业,对开发者、设计师、文字工作者等职业都产生了深刻影响。AI正在改变着我们的工作生产方式,这已成为行业的共识。因此,了解和掌握AI的重要技术变革和趋势对于开发者来说至关重要。 为了让更多的开发者了解和真正参与到技术的开发与应用中,我们推出了一项名为【云上探索实验室】的活动,希望可以和开发者一起从实践中探索技术的边界。本期实验室主题围
例如Meta家的Llama 2 70B、Antropic家的Claude 2.1等等:
2017 年,Facebook 开源了针对深度学习的框架 PyTorch。PyTorch 可以帮助开发者和研究人员更加轻松的构建和训练模型。凭借其简单易用、功能强大、用途广泛等特点,PyTorch 广受欢迎,且至今仍是最火的深度学习框架之一。 近年来,随着数据集和模型规模的日益庞大,出于效率考虑,开发者通常采用分布式训练的方式,提⾼训练速度以加快模型迭代。流行的深度学习框架 PyTorch 也为分布式训练提供了内置支持。PyTorch 的分布式训练方式主要有 DP (DataParallel)、DDP (
今天,宣布[Meta 的 Llama 3 模型在 Amazon Bedrock 全面上市。 Meta Llama 3 专为构建、实验和负责任地扩展生成式人工智能(AI) 应用程序而设计。新的 Llama 3 模型最有能力支持广泛的用例,并在推理、代码生成和指令方面进行了改进。更多免费试用产品链接
今天,我们要讲的是人工智能和机器学习,以及亚马逊 SageMaker 等产品如何改变数据科学家的工作方式。
有想法有创意,想快速自行发起项目?还在海量的工具包、软件、平台、库和各种插件上毫无头绪地寻觅?想加入初创公司一展身手,却找不到补课切入点?
Python是一种非常受欢迎的编程语言,因为它简单易学,同时具有很多强大的功能。 FastAPI是一个基于Python的现代web框架,具有高性能、易于使用和易于扩展的特点,它可以帮助开发人员更快地创建Web应用程序和API。
亚马逊一直在为其云计算子公司AWS添加AI功能。今天,亚马逊宣布了一系列对SageMaker的改进,SageMaker是用于构建,训练和部署机器学习模型的端到端平台。
责编 | 王子彧 出品 | CSDN(ID:CSDNnews) 最近的 AI 圈,真是“热闹得一塌糊涂”: 输入一句话就能生成图像的 Stable Diffusion 火爆数月;这边大家不亦乐乎地和智能语音助手聊天…AI 正在开启新时代——从高深莫测的黑科技,变身为辅助工作、生活不可或缺的重要组成部分。 模型变大,算法繁杂 AI 技术开发平台是关键 如果说,简单的 AI 功能试用是新手,熟练掌握 AI 开发是出师,深入行业应用就是真正的大师了。然而,AI 开发过程中如果没有合适的平台,开发过程就会繁琐,
众所周知,在三大云提供商中 AWS 拥有最丰富的机器学习能力组合。随着 Sagemaker Studio 于 2020 年初公开发布,他们创建了一个全集成的 ML 开发环境——这是业界首创。
刚装的 linux 环境中使用 python 导入包时可能会报 libGL.so.1: cannot open shared object file 的错误,本文记录解决方案。 问题复现 我是在导入 opencv 包时遇到的错误: >>> import cv2 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/root/anaconda3/envs/vvd_env/lib/pyth
大噶吼,不说废话,分享一波我最近看过并觉得非常硬核的资源,包括Python、机器学习、深度学习、大模型等等。
作者 | Vishnu Prathish 译者 | 王强 策划 | 冬梅 本文最初发布于 Medium 网站,经原作者授权由 InfoQ 中文站翻译并分享。 众所周知,在三大云提供商中 AWS 拥有最丰富的机器学习能力组合。随着 Sagemaker Studio 于 2020 年初公开发布,他们创建了一个全集成的 ML 开发环境——这是业界首创。 在所有 ML 产品的中心锚定一个 IDE 是一个明智的举动——只要你的相关服务正确地填补了关键运维层面的空白。如果一切顺利,亚马逊将有机会一劳永逸地重塑行业中机
编辑:闻菲、佩琦、张乾 【新智元导读】谷歌又放大招:刚刚,Jeff Dean连发十条Twitter,介绍最新发布的测试版Cloud TPU,目前在美国地区开放,每小时6.5美元。谷歌表示,一个Clou
选自TechTalks 作者:Ben Dickson 机器之心编译 编辑:Panda 修图靠 Photoshop,修视频靠英伟达。 前段时间,Adobe 推出了一个名为「Neural Filters 」的工具包,将 AI 论文中常见的上色、换表情、改年龄、超分辨率等效果统统打包,集成到了 Photoshop 中,让用户动动鼠标就能用上这些功能。当时就有人问:「视频能 p 吗?」 作为一款主打图像处理的软件,Photoshop 或许没有办法很好地回答这一问题。但同样深耕于计算机视觉、计算机图形学的英伟达用行动
只有在安装和配置软件后,才能使用RabbitMQ发送和接收消息,安装教程可以参考CentOS安装RabbitMQ的教程。
机器之心报道 SketchX 实验室 「你画我猜」是一种广泛流传在不同文化中的人类通识游戏,其形式简单但高度体现人类的认知智慧。近日一篇被计算机图形学顶会 SIGGRAPH ASIA 2020 接收的论文提出了一种基于草图的生成优化方法。在给定一个视觉概念的前提下,相较于人类竞争者,该模型能够以相似或更快的速度实现可识别的草图渲染。 近几十年来,AI 在越来越多的游戏中逐渐达到了能够与人类同台竞技的水平。从 1997 年在国际象棋比赛中胜出的 Deep Blue 到 2011 年在电视智力竞赛项目 Jeo
IMDShift是一款功能强大的AWS工作负载安全增强工具,该工具基于纯Python开发,可以帮助广大研究人员更好地提升AWS工作负载的安全。
自从计算机时代开始,科学家和工程师们就一直想知道如何像人类一样,给计算机注入学习的能力。艾伦·图灵是第一批提出智能理论的科学家之一,该理论设想有一天计算机能够达到与人类同等的智能水平。从那时起,机器学习领域发生了一系列巨大的飞跃。我们已经看到机器学习在许多情况下击败或至少匹配特定的人类认知能力,例如在ResNet(一种深度残留的网络架构)的情况下超越了人类在图像识别方面的表现,或者微软的语音转录系统几乎达到人类水平的表现。
来源:小金博士公众号 本文约5000字,建议阅读10分钟 本文将探索目前可用于自动化过程的框架,以帮助读者了解在自动化机器学习方面可能出现的情况。 自动机器学习综述 自从计算机时代开始,科学家和工程师们就一直想知道如何像人类一样,给计算机注入学习的能力。艾伦·图灵是第一批提出智能理论的科学家之一,该理论设想有一天计算机能够达到与人类同等的智能水平。从那时起,机器学习领域发生了一系列巨大的飞跃。我们已经看到机器学习在许多情况下击败或至少匹配特定的人类认知能力,例如在ResNet(一种深度残留的网络架构)的情况
作者 | Sanket Gupta 译者 | 王强 策划 | 刘燕 本文最初发布于 Medium 网站,经原作者授权由 InfoQ 中文站翻译并分享。 当你的数据集变得越来越大,迁移到 Spark 可以提高速度并节约时间。 多数数据科学工作流程都是从 Pandas 开始的。 Pandas 是一个很棒的库,你可以用它做各种变换,可以处理各种类型的数据,例如 CSV 或 JSON 等。我喜欢 Pandas — 我还为它做了一个名为“为什么 Pandas 是新时代的 Excel”的播客。 我仍然认为 Pandas
引言: 随着人工智能技术的不断发展,自然语言处理(NLP)领域的一个重要突破是开放式AI语言模型。OpenAI的ChatGPT,作为一种强大的自然语言处理模型,已经引起了广泛关注。在本文中,我们将探索ChatGPT的使用流程,帮助AI初学者了解如何使用这一强大工具。
Fabric is a Python (2.5-2.7) library and command-line tool for streamlining the use of SSH for application deployment or systems administration tasks.
选自arXiv 作者:Adrian de Wynter、Daniel J. Perry 机器之心编译 机器之心编辑部 提取 BERT 子架构是一个非常值得探讨的问题,但现有的研究在子架构准确率和选择方面存在不足。近日,来自亚马逊 Alexa 团队的研究者细化 BERT 子架构提取过程,并提取了一个最优子架构 Bort,它的大小仅为 BERT-large 的 16%,CPU 上的推理速度却提升到了原来的八倍。 在自然语言处理领域,BERT 是一个里程碑式的进展。只需要添加一个单层线性分类器和一个简单的微调
机器之心报道 编辑:陈萍、杜伟 一本关于机器学习的免费在线书籍,涉及多种算法完整推论,欢迎查收。 提到机器学习领域的书籍资源,大家比较熟悉的有周志华老师的《机器学习》(西瓜书)、李宏毅老师的「宝可梦课程」等等。此外不同学习阶段的学生也能够找到适合自身的机器学习基础和进阶书籍资源。 周志华西瓜书。 近日,本科毕业于哈佛大学统计学与经济学专业、现任哈佛助教的 Daniel Friedman 开放了他撰写的一本免费在线书籍《Machine Learning from Scratch》,该书从理论和数学上介绍了
http://www.voidcn.com/article/p-xxdfvetx-da.html
长期以来,「奶爸」+「萌娃」一直是一个不被看好的组合,甚至有人说,「父爱如山体滑坡」。不信的话,以下都是证据:
机器之心报道 机器之心编辑部 这个文本 OCR 小工具,能让你「所截即所得」。 在我们办公时,是不是经常遇到图片内容转文字的需求? 你是用什么工具解决的呢?是手机自带拍照转文字功能?还是使用 QQ 里面的工具? 今天我们就为大家介绍一款 GitHub 用户 ianzhao05 刚发布的小工具——textshot,只需要截屏就能实时生成文字。读者也可以通过此项目大致了解如何对图像中的文本进行识别。 项目链接:https://github.com/ianzhao05/textshot 使用方法 运行 text
最近,TensorFlow 2.0版的开发者预览版发布没多久,这不,又有一篇优质教程来了。
Root 假装发自 拉斯维加斯 量子位 出品 | 公众号 QbitAI 机器学习现在已经在多个领域爆发出惊人的能量,企业通过获取有效的用户数据,可以高效锁定用户的需求,针对性地提供服务,营收利润的拉升效果立竿见影。 但对于大多数急着上车的企业来说,自身业务结合人工智能技术最难的地方在于,没有办法迅速找到资深的AI专家来分析业务链,并搭建相应的机器学习模型解决核心问题,提升生产或者服务环节的效率。 亚马逊敏锐地捕捉到了这个痛点,在今天的创新大会AWS Re:INVENT上,亚马逊云服务AWS的CEO,Andy
「WeOpen Insight」是腾源会全新推出的“开源趋势与开源洞见”内容专栏,不定期为读者呈现开源圈内的第一手快讯、优质工具盘点等,洞察开源技术发展的风向标,预见未来趋势。 近年来,AI 工具和框架的发展让 AI 技术在 IT 领域能够被更加友好地应用。 AI 虽然已经发展很长时间了,但目前它的大规模广泛应用依旧充满了许多挑战。然而,近年来, AI 工具和框架对 IT 部门更加友好了。AI 技术正在迅速改变几乎我们每个生活领域。从沟通方式到使用的交通工具;我们似乎越来越沉迷于它们。这里,我们
选自towardsdatascience 作者:Saptashwa Bhattacharyya 机器之心编译 编辑:陈萍 损失函数是机器学习里最基础也是最为关键的一个要素,其用来评价模型的预测值和真实值不一样的程度。最为常见的损失函数包括平方损失、指数损失、log 对数损失等损失函数。这里回顾了一种新的损失函数,通过引入鲁棒性作为连续参数,该损失函数可以使围绕最小化损失的算法得以推广,其中损失的鲁棒性在训练过程中自动自我适应,从而提高了基于学习任务的性能。 这篇文章对 CVPR 2019 的一篇论文《A
在机器学习和自然语言处理领域,有多种工具和框架可用于实现和使用检索增强型生成(RAG)模型。以下是一些关键的资源和工具:
意味着现在Rustls可以无缝替换目前世界上使用的最广泛的Web Server - Nginx 中了。
Amazon SageMaker 是一项完全托管的服务,可以帮助机器学习开发者和数据科学家快速构建、训练和部署模型。Amazon SageMaker 完全消除了机器学习过程中各个步骤的繁重工作,让开发高质量模型变得更加轻松。 为了帮助开发者更快上手Amazon SageMaker,机器之心联合AWS在6月开设了6期公开课,详细讲解了如何使用 Amazon SageMaker 完成构建生成对抗网络、运行中文命名实体识别、简化 Kubernetes 上的机器学习任务管理等任务,超过1000名开发者共同参与了学
消息队列(Message Queue,MQ)作为一种异步通信机制,在现代分布式系统中扮演着关键角色,能够实现系统解耦、削峰填谷、数据流处理等功能。RabbitMQ与Apache Kafka作为两种广泛应用的消息队列系统,常出现在Python面试题目中。本篇博客将深入浅出地探讨Python面试中关于RabbitMQ与Kafka的常见问题、易错点以及应对策略,并结合实例代码进行讲解。
1、 安装python开发库:yum -y install python-devel
作者 | 赵钰莹,郑思宇 如今,有越来越多的企业将机器学习引入到不同的流程中,对机器学习模型的期待也越来越高。与这种期待相反的是,我们对机器学习治理的关注度显然不够,还没有找到好的方式让整个流程运转地更加流畅、透明度更高,甚至连最佳实践可能的样子都十分模糊。在刚刚结束的 2022 re:Invent 大会上,亚马逊云科技数据与机器学习副总裁 Swami Sivasubramanian 博士针对 Amazon SageMaker 发布的一系列更新,扩大了机器学习在模型生命周期中的治理规模,让模型开发初步告别
作为一位万人敬仰的数据科学家,不但需要培育一棵参天技能树,私人武器库里没有一票玩得转的大火力工具也是没法在江湖中呼风唤雨的。 近日北卡来罗纳大学CTO,一位数据科学家Jefferson Heard分享了多年来收集沉淀的数据分析工具集: 1 处理较大、较复杂的类excel数据 Pandas -处理tabular(类似Excel)数据的通用工具套件 SQLite – Tabular数据库格式,能够处理大规模数据集,同时也能在桌面环境运行。 PostgreSQL – 企业级数据库系统 2 处理空间、地理数据 Po
领取专属 10元无门槛券
手把手带您无忧上云