文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

芬兰为人工智能找到了新的廉价劳动力——监狱囚犯

这些数据的收集、索引和分析来自数百万在线数据源，包括商业登记处、公司网站、新闻媒体、社交媒体、开放API等。 要实现这个目标，则需要阅读大量的文章并标记相应分类。...如果这些文章用英文写的那就很容易了，可以交给 Amazon Mechanical Turk 平台上的人完成。 ?...Turk是一个众包市场，接受任务的人需完成图片和产品分类，翻译文本，将语音或者图片转录成文本等工作。平均在每小时2美元左右。但Turk平台上的参与者以母语为英语的美国人为主。...工资与向Mechanical Turk所完成的任务支付的金额相当。 目前有约100名囚犯进行数据分类的工作，每天工作几个小时。 Vainu和CSA根据任务数量已经签订了年度合同。...Roberts）认为，虽然这些工作往往是死记硬背和重复性的， 但Amazon Mechanical Turk 平台的工作者，他们也拿着和芬兰监狱劳工一样的工资。

78930

资源 | Facebook开源人工智能框架ParlAI：可轻松训练评估对话模型

该框架的目标是为研究者提供： 一个用于训练和测试对话模型的统一框架 一次性在许多数据集上进行多任务训练 无缝集成 Amazon Mechanical Turk，以便数据收集和人工评估 这第一个版本支持超过...中的视觉 可以使用 Mechanical Turk 来运行/收集数据/评估 Python 框架 PyTorch 的训练示例 可使用 zmq 与其它非 Python 的工具箱对话，给出了 Lua Torch...在 Amazon Mechanical Turk 网站上，该 HIT 标题以搜索结果的形式呈现，并且出现在该 HIT 被提及的任何地方。...在 Amazon Mechanical Turk 网站上，该 HIT 描述出现在搜索结果的扩展视图中，并且也会出现在该 HIT 和分配（assignment）屏幕上。...在 Amazon Mechanical Turk 网站上，这些词被用于搜索 HIT。

1.8K80
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    每周学点大数据 | No.76 众包算法实践——认识 AMT

    大多数时候，我们见到的众包平台都是以网站为表现形式的，在这里我们就以一个非常著名的众包平台——Amazon 的Mechanical Turk 为例，了解如何使用众包平台完成任务和发布任务。...Mechanical Turk 是 Amazon Web Service（AWS）的组成部分之一，是一个非常典型的众包平台，它的网址是 https://www.mturk.com/mturk/welcome...小可 ：是一个英文网站。 Mr. 王 ：没错，这就是 Amazon Mechanical Turk，一个非常典型的众包平台。...；右边的 Get Results from Mechanical Turk Workers 部分就是留给任务发布者去发布任务的区域。...网站使用了非常鲜明的图片来表示这一部分的使用过程。我们可以先到众多的任务中去找一个自己感兴趣的任务，然后选择工作时间，一般我们都是利用业余时间来完成众包任务，而且多数时候都是在家里完成的。

    2K90

    Facebook开源AI对话研究平台ParlAI ，解决人机对话最常见5类问题

    这些领域的独立研究是很常见的，但这不利于将它们组合在一起，以创建一个会话式的 AI。...ParlAI 还连接到 Amazon Mechanical Turk ，这样研究人员就可以无缝地收集新的数据。...如果数据集尚未使用，ParlAI将自动下载。由于所有数据集在ParlAI（使用单个对话API）中都是以相同的方式进行处理的，因此对话智能体可以在任何训练和测试之间切换。...所有智能体使用一种格式 - 观察/操作对象（一种Python 字典） - 与其他体交换文本，标签和奖励。 ? 智能体发送这种消息以发言，并以相同的形式接收消息以观察环境中的其他发言者。...Mechanical Turk 与人类的对话是构建聊天机器人的训练过程的重要组成部分。这就是为什么ParlAI支持与Mechanical Turk进行数据收集，培训和评估的融合。

    2K50

    Ozone-适用于各种工作负载的灵活高效的存储系统

    还有更新的 AI/ML 应用程序需要数据存储，使用 Python Boto API 等开发人员友好的范例针对非结构化数据进行了优化。...作业的性能直接受到重命名操作完成速度的影响。 将文件和对象集中在一个屋檐下 统一设计表示存储在单个系统中的文件、目录和对象。...提供使用 S3 API* 进行读/写的功能。 OBJECT_STORE存储桶（“OBS”） 提供类似于 Amazon S3 的平面命名空间（键值）。...基本上，这种多协议功能对于主要面向文件系统 （如工作负载）但希望添加一些对象存储功能支持的系统具有吸引力。这可以通过本地对象存储提高用户平台的效率。...S3 API* – 指的是 S3 API 协议的 Amazon S3 实施。

    3.3K20

    ImageNet这八年：李飞飞和被她改变的AI世界

    聘用本科生浪费时间，使用算法存在瑕疵，雪上加霜的是，该团队还缺乏资金——李飞飞说，虽然她四处申请，但那个项目未能获得任何联邦政府拨款。...△ 亚马逊Mechanical Turk的图像分类界面 Mechanical Turk本身也面临一些障碍，很多工作都要由李飞飞的博士生Jia Deng和Olga Russakofsky来解决。...李飞飞的团队最终针对Mechanical Turk参与者的行为开发了一批统计模型，确保数据集中只包含正确的图片。 即便是在找到Mechanical Turk后，仍然花了两年半时间才完成这个数据集。...“2012年的ImageNet的确是如今AI井喷式发展的重要原因，”Zeiler在接受外媒Quartz采访时说，“之前在语音识别领域有一些令人满意的结果，但没有被公众所知。...甚至创业公司也开始收集自己的数据集——做视频理解的AI初创公司TwentyBN就用Amazon Mechanical Turk收集Turk在视频表演上简单的手势动作视频。

    2.1K60

    详解ParlAI：为了让机器人更会聊天，Facebook开源了新平台

    ParlAI为AI程序员提供了一个简单的框架，来训练和测试聊天机器人，并提供样本对话数据集，还无缝集成了亚马逊的Mechanical Turk“人工”智能服务。...通过在数据收集、训练和评价方面与Mechanical Turk的整合，ParlAI中的机器人可以与人类对话。...如果数据集尚未被使用过，那么ParlAI将会自动下载。由于ParlAI对所有数据集都采用同样的处理方式（利用单一的对话API），对话agent可以在所有数据集中进行训练和测试的切换。...Mechanical Turk 在开发聊天机器人时，与人类的对话是训练中的重要部分。因此，ParlAI与Mechanical Turk进行了集成，进行数据收集、训练和评价。...我们希望，ParlAL平台能聚集人工智能对话agent的研究社区，继续推动对话研究的发展。

    1.4K80

    DevOps工具介绍连载（19）——Amazon Web Services

    提供可视化监测，并且可以利用API调用进一步处理监控的数据。 Amazon WorkSpaces：是一种虚拟桌面服务，托管在Amazon的云中。...用户可以将本地存储迁移到Amazon S3，利用 Amazon S3 的扩展性和按使用付费的优势，应对业务规模扩大而增加的存储需求，使可伸缩的网络计算更易于开发。...人工服务类： AMT (Amazon Mechanical Turk)机械的土耳其人：“机械的土耳其人”一词来源：这个名字源自于臭名远扬的能下象棋的“自动装置”，它是匈牙利男爵沃尔夫冈·冯·肯佩伦（Wolfgang...在该程序运行到某个指定时刻，在亚马逊公司的Turk网站上会自动贴出一个关于“由人执行任务”的要求，而人们会争着完成这项任务，以换取程序员设定的报酬。...Mechanical Turk就是这么做的，它把人的行为和判断变成了软件程序中的功能。不是电脑为我们工作，而是我们为电脑工作。"

    5.5K30

    一个典型的架构演变案例：金融时报数据平台

    这使得我们的团队能够以自动化和可扩展的方式创建新的作业和模型，并包含如下特性： 调度。每天自动运行多次 SQL 查询，与其他团队同步输出结果，最后但同样重要的是，更多地关注业务用例而不是实现细节。...然后，我们创建了一个 API 服务，负责接收读者的交互。但是，我们仍然需要一种方法，以尽可能低的延迟将这些数据传输到数据仓库，并将这些数据公开给多个下游消费系统。...为了删除所有重复的事件，我们另外创建了一个 Amazon Redshift 集群，负责摄入每个新进来的 CSV 文件并进行去重。...我们希望能够支持： 语言无关的作业。为了最大限度地利用使用数据平台的所有团队的不同技能集。 工作流的概念。...我们考虑过使用一个 Apache Airflow 托管服务（有多个供应商），但最终，考虑到多租户、语言无关的作业和监控等需求，我们还是决定继续使用自托管的解决方案。

    1.2K20

    Yarn管理放置规则

    拒绝：拒绝提交。 如果在作业提交过程中没有指定目标队列，并且没有与作业匹配的放置规则，则将作业提交到调度程序的默认队列。 默认情况下，如果在作业提交期间指定了无效队列，则提交将被拒绝。...重要 尽管可以使用安全阀配置片段来配置放置规则，但 Cloudera 建议使用 YARN 队列管理器 UI 进行放置规则配置和管理，即使这会导致一些限制。...您可以使用 YARN 队列管理器 UI 创建放置规则。 如果放置规则使用静态队列，则必须先创建目标叶队列，然后再创建使用它的放置规则。创建放置规则时，UI 将显示所有现有叶队列。...创建规则时，UI 将显示所有现有队列作为目标父队列选项，但如果未为所选队列启用动态自动子创建功能，则会显示警告消息，您无法创建放置规则。有关更多信息，请参阅管理动态队列。...如果失败，则完全拒绝提交。 使用队列管理器 UI，可以通过以下方式实现此逻辑： 队列层次结构 名称旁边带有螺栓标志的队列是启用了动态自动子创建的父项。

    2.7K10

    从 POC 到生产！Leboncoin 基于 Apache Hudi 构建 Lakehouse 实践

    每天约有 800 万独立访问者访问 Leboncoin，到 2022 年，该网站每月有超过 1000 亿次 HTTP 调用并且启动和运行 700 个应用程序，使其成为访问量最大的法国网站之一。...表是在数据仓库 (Amazon Redshift) 中创建的，目的是删除和更新数据，这在传统数据湖中是不可能的（但现在在数据Lakehouse中是可能的）。...但故事的开始并没有我们想象的那么顺利！首先，数据平台团队向 CRM 团队展示了如何使用 Hudi，并告诉他们现在可以创建自己的表。但事实证明，CRM团队需要的一些功能还没有实现。...新产品接受 SQL 查询和描述表配置的小 YAML 文件，以自动创建表和 Airflow DAG（有向无环图），其中包含计划将数据插入表的作业。...由于 Airflow 插件，数据平台团队成员自己更喜欢使用它来创建表（之前他们必须使用定制的 Spark 作业和 Python 脚本来创建 Airflow DAG）。

    38010

    在Hadoop YARN群集之上安装，配置和运行Spark

    客户端模式非常适合交互式作业，但如果客户端停止，应用程序将失败。对于长时间运行的作业，群集模式更合适。 配置内存分配 如果未正确配置内存分配，则在YARN容器中运行的Spark容器的分配可能会失败。...为您的YARN容器提供最大允许内存 如果请求的内存高于允许的最大值，YARN将拒绝创建容器，并且您的Spark应用程序将无法启动。...18080您可能希望使用与默认值不同的更新间隔10s。...既然您有一个正在运行的Spark集群，您可以： 学习任何Scala，Java，Python或R API，以从Apache Spark Programming Guide创建Spark应用程序 使用Spark...虽然提供这些是希望它们有用，但请注意，我们无法保证外部托管材料的准确性或及时性。 Apache Spark项目页面 Apache Hadoop项目页面 更多教程请前往腾讯云+社区学习更多知识。

    4.2K31

    【通用人工智能的新宇宙】OpenAI 重磅发布AGI测试训练平台Universe

    在 JavaScript 中甚至有允许用户提供演示而无需安装任何新软件的 VNC 实现——这对 Amazon Mechanical Turk 之类的服务非常重要。 易于调试。...随着我们的游戏更大型，我们将开始使用额外的后端技术。但初步的迹象表明，现有的实现能够更好：设置正确的话，用户能够以每秒20帧的速率在公共互联网上运行 GTA V。...Universe 包含了给予浏览的环境，这些环境要求AI 智能体能读、导航，像人类一样使用网站、显示器、键盘和鼠标。...Turk 和CrowdFlower 等任务。...（我们使用这些网站的缓存记录，以避免发送垃圾邮件，或预订大量真实的航班）。 ?

    2.1K70

    Spark生态系统的顶级项目

    这有时会被视为是与Hadoop的竞争（但并不一定是这样），Spark已经设法从Hadoop的成长的痛苦中吸取经验教训，因为Hadoop已经十几岁了。...这是以前可能是通过自己的一些辛苦工作，或使用Spark Hadoop API。 3. Zepellin Zepellin是一个有趣的Spark项目，目前是Apache孵化器的成员。...您可以使用SQL，Scala等创建漂亮的数据驱动，交互式和协作文档。 ? Zeppelin解释器允许额外的语言插件。...为什么使用Spark Job Server？ RESTful接口允许从任何语言或环境提交作业，作业内容由Job Server处理。 5....Spark作业可以在Alluxio上运行而不进行任何更改，Alluxio可以显着提高性能。 Alluxio声称“百度使用Alluxio将数据分析性能提高了30倍”。

    1.7K20

    OpenAIUniverse-万物

    其中数百个已经可以直接测试强化学习算法，而几乎所有的都可以使用 universe python 库自由运行： import gymimport universe # register Universe...甚至还有 JavaScript 的 VNC 实现，这可以让我们在不需要安装任何新的软件的情况上获得人类的展示——这个对于像 Amazon Mechanical Turk 这样的服务尤为重要。...Mechanical Turk 和 CrowdFlower 任务....我们首先创建了一个新的基准测试集刻画了浏览器交互的显著挑战。我们称此为 Mini World of Bits。...一个这样的环境将给 agent 一个目标航班订单的细节，然后要求它操作用户接口搜索这个航班（我们使用这些网站 cached 的记录来避免被封杀或者直接购买真实的机票) ?

    1.5K50

    盘点13种流行的数据处理工具

    在过去的十年中，越来越多的数据被收集，客户希望从数据中获得更有价值的洞见。他们还希望能在最短的时间内（甚至实时地）获得这种洞见。他们希望有更多的临时查询以便回答更多的业务问题。...通常，它们摄取连续产生的数据流，如计量数据、监控数据、审计日志、调试日志、网站点击流以及设备、人员和商品的位置跟踪事件。 图13-6展示了使用AWS云技术栈处理、转换并可视化数据的数据湖流水线。...▲图13-6 使用数据湖ETL流水线处理数据 在这里，ETL流水线使用Amazon Athena对存储在Amazon S3中的数据进行临时查询。...用COPY命令将这些转换后的文件加载到Amazon Redshift，并使用Amazon QuickSight进行可视化。...Spark在作业执行过程中的所有阶段都使用有向无环图（Directed Acyclic Graph，DAG）。

    3.5K10

    工作流引擎比较：Airflow、Azkaban、Conductor、Oozie和 Amazon Step Functions

    当调度程序因任何原因而卡住时，你在Web UI中看到的所有任务都在运行，但实际上它们实际上并没有向前运行，而执行程序却高兴地报告它们没问题。换句话说，默认监控仍然远非银弹。...UI非常直观且易于使用。调度和REST API工作得很好。 有限的HA设置开箱即用。不需要负载均衡器，因为你只能有一个Web节点。...监控部分通过JMX可接受（似乎没有记录）。但是，如果你的机器负载很重，它通常不会很好，因为端点可能会卡住。...甚至没有运行shell脚本的本机支持，尽管通过python实现任务工作者很容易通过提供的示例完成工作。...初始设置也需要一些时间，这对初次使用的用户来说是不友好的。 Step函数 优点 亚马逊云的步骤函数是相当新（2016年12月推出），然而，未来似乎很有希望。

    6.9K30

    ImageNet验证集6%的标签都是错的，MIT：十大常用数据集没那么靠谱

    我们平时用的机器学习数据集存在各种各样的错误，这是一个大家都已经发现并接受的事实。...为了向所有人展示这些错误，帮助改进数据集，研究者还做了一个专门的归类网站。 ? 网站地址：https://labelerrors.com/ 该网站列出的错误主要包括三种类型。...因此，作者建议，如果你的数据集标签错误率高达 10%，你可以考虑使用较为简单的模型。...为了方便大家复现论文结果并在自己的数据集中找到标签错误，研究者还在 GitHub 上开源了他们用到的 Python 包（cleanlab）。 ?...这些图像由 Amazon Mechanical Turk 的工作人员标记，他们要检查这些图像是否包含特定同义词集中的对象，过滤掉对象混乱、遮挡过度的图像，并确保数据集的图像多样性。 ?

    1.3K50

    在统一的分析平台上构建复杂的数据管道

    在我们的案例中，我们希望用一些有利的关键词来预测评论的评分结果。我们不仅要使用 MLlib 提供的逻辑回归模型族的二项逻辑回归，还要使用spark.ml管道及其变形和估计器。...创建机器学习管道 Python代码片段如何用变换器和估计器创建管道。...创建流 考虑一下这种情况：我们可以访问产品评论的实时流，并且使用我们训练有素的模型，我们希望对我们的模型进行评分。...数据工程师可以通过两种方式提供这种实时数据：一种是通过 Kafka 或 Kinesis，当用户在 Amazon 网站上评价产品时; 另一个通过插入到表中的新条目（不属于训练集），将它们转换成 S3 上的...这个短的管道包含三个 Spark 作业： 从 Amazon 表中查询新的产品数据 转换生成的 DataFrame 将我们的数据框存储为 S3 上的 JSON 文件 为了模拟流，我们可以将每个文件作为 JSON

    4.3K80
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券