本书为哈尔滨工业大学著名教授王宏志老师的扛鼎力作，以对话的形式深入浅出的从何为大数据说到大数据算法再到大数据技术的应用，带我们在大数据技术的海洋里徜徉～每周五定期更新 上期回顾&查看方式 在上一期，我们学习了众包算法实践...PS：了解了上期详细内容，请在自定义菜单栏中点击“灯塔数据”—“技术连载”进行查看；或者滑到文末【往期推荐】查看 No.77 众包算法实践——成为众包工人 小可 ：再来看一个任务。...王 ：我们就进入了众包平台的 Requester（请求者）页面。这里的操作需要我们先登录账户。...AMT 平台已经替我们准备了很多的任务类型，比如分类、数据收集、调研、为图片打标签等，基本能满足我们对各种众包任务的需求。可以根据自己需要完成的任务来选择合适的类别，在这里我们以分类进行举例。...结语 经过学习，我们研究了众包算法实践——成为众包工人涉及到的一些具体问题。
作者：茅明睿 单位：北京市城市规划设计研究院 Email：maomingrui@gmail.com 新浪微博：@放小浪 回复“数据开放”可下载相应完整版PPT(36页) 1开放与众包 开源和众包是两个伴随互联网而流行的词汇...BCL是一个符合开放、分享与众包精神的研究平台，同时BCL上汇集了大量基于开放数据、众包数据的城市研究成果。 ?...开放和众包数据的出现为扭转上述局面带来了曙光。...另一方面，众包行为带来了新的公众参与形式，并可能促成规划决策、政府治理的改变。众包的行为主体是人，众包数据体现的是人的活动信息。BCL的很多研究都是基于这类数据进行人在空间里的活动特征分析。...众包，以及对众包数据的有效分析利用使得市民参与公共事务的门槛大幅降低。
美国地质调查局近期为解决这个问题提供了一个新选择－－利用智能手机的GPS功能进行众包地震预警。 美国地质调查局的科学家认为，智能手机和其它具备GPS功能的设备可以做为一个网络，为大地震提供早期预警。...这种众包系统，可以迅速检测到地震的发生，且几秒钟内，在地震波或海啸波到达人们之前给出预警。...此外，在地震发生可能性高但无法承担早期预警系统的地区（例如加勒比地区、中美和南美地区以及南亚地区），众包地震预警能够拯救成百上千条生命，且带有GPS功能的手机在这些地区使用很普遍。 ?
开发者们为了将用户体验优化到极致，通过大量的技术手段保障视频质量，比如减少丢包、断网恢复、即时响应用户网络变化等等。...因此我们提出了众包CDN的概念，并且申请了专利。15年，腾讯的X5浏览器内核和微信也提供了支持，同年，我们梨享计算也正式宣布成立。 可能大家会有疑问，WebRTC将来真的会成为一种主流技术吗？...这时候可以先向STUN服务器发送测试数据包，后者做出响应，指示其在测试数据包中监测到的IP地址，此地址将成为潜在的候选地址返回。...除了播放器外，我们还开发了支持多协议、多源、混合P2P-CDN的下载器PearDownloader，可用于高清图、压缩包、软件发布或升级包、音乐、文档等大文件下载或在线服务的场景（github地址：https...大部分带宽、存储、计算资源通过众包方式收集自终端用户稳定在线的边缘设备，服务能力覆盖全部地域、所有运营商、每处网络边缘。
一、Python 包简介 1、Python 包引入 之前 介绍了 Python 模块 , 每个 Python 源码文件 , 都可以定义为一个 Python 模块 ; 如果 定义的 Python 源码模块很多..., 有几百上千个 , 则会出现管理繁琐 , 混乱的问题 ; 这里引入 新的代码结构 " Python 包 " ; 2、Python 包概念 Python 包 概念 : 包是 Python 模块 Module...的扩展 , 将若干 相关的 Module 模块 组织起来 形成一个 Python 包 , 可以更好地 组织 和 管理 Python 代码 ; 在 Python 包中 可以 定义 变量 / 函数 / 类..., 可以 更好地 组织 和 管理 Python 代码 ; 除了 自定义 Python 包之外 , Python 还提供了 Python 标准库 和 其他人编写的第三方 Python 包 来扩展 Python...包 右键点击 PyCharm 中的 Python 工程根目录 , 选择 " New / Python Package " 选项 , 输入 Python 包名称 , 然后点击回车 , 创建 Python
No.50期 众包应用举例 小可：那除了维基百科之外，众包还有哪些应用呢？ Mr. 王：其实众包在业界的应用还是非常广泛的。...大量的公司和网站都使用了众包算法， 有些众包算法是显性的任务分配和任务处理，也有些众包算法是隐性的。比如这种特殊的验证码： 小可：哦，验证码还是很常用的，只是这个验证码中有两个单词。...王：其实在图像识别中，众包的例子也有很多。比如我在网上挂一个图，问这是不是“哈工大校园”。...王：嗯，众包还可以应用在图片分类上。比如这张图片： 小可一眼就认出了图片中的车，说：这不是大众的迈腾嘛！ Mr....王：其实在数据库中，也有众包的例子。比如模糊匹配问题。
NO.50 众包特点 Mr. 王：我们讨论了这么多众包的例子，现在来研究一下众包的一些特点。你先来说说，一个众包算法需要由哪些部分组成？...王：其实工人参与到众包任务中也是有相应回报的。...比较直观的回报就是金钱，在有些众包平台上面，工人完成了任务之后会收到一定的资金报酬；而有些众包任务虽然并不能提供报酬，但是很多人依然乐此不疲，是因为这些众包任务设计得比较有趣，很多人为了打发时间，也会去完成众包任务...比如当我们有任务要完成时，是选择交给现有的众包平台，还是自主开发搭建一个众包平台；而且在众包平台设计时，人机交互是很重要的，应如何激励用户参与到众包任务中；界面的设计是否吸引人、与工人间的交流通信，以及平台的信誉和工人挽留机制都要考虑...王：有时众包平台也采用一种准入机制。比如想参与到众包任务的贡献中，先要经过一个资格考试来验证该工人是不是具有完成任务的资格。
研究人员在10月19日的“ 科学”杂志上报告说，新系统允许人工智能将数据众包，同时保持信息的私密性，从而鼓励合作伙伴加快药物开发。 确定新的药物蛋白质相互作用可以揭示各种疾病的潜在新疗法。
NO.52 众包算法例析 小可：讨论了这么多，我还是想通过一个具体的众包例子来了解一下众包算法。 Mr. 王：好，我们就从计算机的角度用具体的例子来分析一下众包算法。...通过我们前面讨论的内容，你能不能想到设计众包算法需要考虑的一些基本问题？ 小可若有所思，说：嗯……既然很多众包平台是要支付劳动报酬的，那么最起码的众包算法应该要尽量的省钱吧？ Mr....所以众包算法期待的就是能结合机器和人的优点，使得成本、时间和质量都达到一个比较好的结果。 小可：那么具体要怎么结合呢？ Mr. 王：其实众包算法中包含的思想就是混合人和机器的工作流程。...小可：想不到就连众包里面都有这样的优化问题。那么它怎么解决呢？ Mr. 王：在一些文献中给出了这种问题的解法，就是将这些商品名抽象成一个图。 ?...下期精彩预告 经过学习，我们了解了一下了解众包的算法例析。在下一期中，我们将进一步研究一下众包的具体应用，具体的运用到时间中国去解析。更多精彩内容，敬请关注灯塔大数据，每周五不见不散呦！
原文：angrave/SystemProgramming 译者：飞龙 协议：CC BY-NC-SA 4.0 欢迎来到 Angrave 的众包系统编程维基书！...这个维基是由伊利诺伊大学的学生和教师共同建立的，是伊利诺伊大学 CS 的 Lawrence Angrave 的众包创作实验。 与本学期要求现有的纸质书籍不同，我们将在这里建立我们自己的资源集。 0....它非常简单易用：决定目的地址和端口，然后发送数据包！然而，网络不能保证数据包是否会到达。如果网络拥挤，数据包（也称为数据报）可能会丢失。数据包可能会重复或无序到达。.../usr/bin/env python”开头？ 答：为了可移植性！...虽然可能会将完全合格的路径写入 python 或 perl 解释器，但这种方法不是可移植的，因为您可能已将 python 安装在不同的目录中。
但“众教”培训方式是一个显著的进步。这是第一次一个人工智能机器从真人的行为那里学习到了一个复杂驾驶技术。“我们的研究展示了我们如何把大众的驾驶知识和经验与“教授”机器学习驾驶技能整合起来。”...如此，采用“众教”的方法培训人工智能机器就很有意义。 不仅如此，这项研究工作还具有更广泛的影响。生活中有许多看上去挺简单的任务，人类觉得习以为常，但机器却难以完成，比如洗衣洗碗、哺育婴儿、熨烫衣物等。...假如Rajpurkar和他的同事们共同开发的“众教”方法可以适用于其他的任务，那么人类也许很快就可以成为人工智能机器的终极培训师。
研究团队设计了一项研究，利用在线众包社区以教育机器人搭建简单的模型——汽车，树木，乌龟，蛇等等用乐高彩色积木搭建的模型。然后再让机器人搭建类似的物体。...为了得到更多关于建造模型的输入，机器人向众包求助。他们在Amazon Mechanical Turk（一个众包市场）上雇佣参与者，并建造类似汽车，树木，乌龟和蛇等的模型。...通过对动作的抽象，交互可视化，它向众包学习在新场景中实施这个动作的新方法。这项研究将在今年11月举办的人类计算与众包大会上发表。...布朗大学伍斯特理工学院，康奈尔大学的研究团队也在进行类似理念的研究，开发机器人使其可以能够通过众包学习新技能。...华盛顿大学的研究团队目前正在利用众包和在线资源教育机器人完成更复杂的任务，例如在多层的建筑物中找寻物品。
王 ：今天我们来讨论一下众包平台的实际使用。 小可 ：嗯，在前面介绍时就觉得众包是一个非常有趣的算法思想，我也很想了解它的具体使用呢。 Mr....王 ：现在我们就以一个具体的众包平台为例，谈谈如何使用众包平台。...大多数时候，我们见到的众包平台都是以网站为表现形式的，在这里我们就以一个非常著名的众包平台——Amazon 的Mechanical Turk 为例，了解如何使用众包平台完成任务和发布任务。...王 ：没错，这就是 Amazon Mechanical Turk，一个非常典型的众包平台。...下期精彩预告 经过学习，我们研究了众包算法实践——认识 AMT涉及到的一些具体问题。在下一期中，我们将进一步了解成为众包工人的相关内容。更多精彩内容，敬请关注灯塔大数据，每周五不见不散呦！
4月1日，周二。深受美国投资者欢迎的股票分析网站Seeking Alpha，不论投资回报还是盈利预测，表现皆远胜华尔街分析员和财经媒体。随着“大...
选自arXiv 机器之心编译 参与：刘晓坤、路雪 本文通过在深度神经网络中引入一种新型众包层（crowd layer），通过反向传播方式，直接利用噪声标签实现端到端的训练。...近期，众包成为以可扩展的方式标注大型数据集的一种高效、廉价的解决方案。但这通常需要整合来自不同专业水平的多个噪声标签贡献者的标签。在这篇论文中，我们针对的就是深度神经网络的众包训练问题。...然后，我们提出了一种新型的通用众包层（crowd layer），这个层可以使深度神经网络用反向传播的方式，直接利用不同标注者的噪声标签进行端到端的训练。...我们的实验结果表明使用这种方法可以内部获取不同标注者的可信度和偏差，并在不同设置（如分类、回归和序列标注）的各种众包数据集上得到最优结果。 ? 图 1.
作者巧妙地利用对两个众包平台的集成，获得能够对RNA降解进行极好预测的模型，以此来突破mRNA分子的热稳定性的限制。...为此，我们结合了两个众包平台：RNA设计平台Eterna和机器学习竞赛平台Kaggle。...我们假设这种“双重众包”将导致对开发的模型进行严格和独立的测试，最大限度地减少设计测试结构者和构建模型者之间的假设共享，并得到更好的独立数据集的泛化性。 所得模型经受了两个盲测挑战。...研究结果 双众包竞赛设计与评估 OpenVaccine Kaggle竞赛（图1b）的目的是开发用于预测RNA降解模式的计算模型。...总结 OpenVaccine竞赛独特地利用了Kaggle和Eterna两个互补的众包平台的资源。在这场比赛中，大多数顶级团队在私人排行榜上的排名与他们在公共排行榜上的排名接近相同。
目前主要的高精地图数据采集包括集中制图模式和众包模式。集中制图模式通过配有激光雷达的数据采集车进行路测，但是会受到成本限制。众包模式借用大量车辆上的摄像头获取数据和数据实时更新。...第一个支持多链的全球分布式地图网络GoWithMi可以带来有效的众包制式解决方案。...GoWithMi可以创建基于算法的Token激励地图众包，激励全球用户分布式共识生产，兼顾低成本、高精度、实时性、VR化与全球覆盖，彻底改变传统地图中心化生产方式。...23日-24日北京召开的“中国自动驾驶高精地图产业创新发展论坛2019 (hdmap2019)“中来自分布式地图"高维地球（GoWithMi）的创始人/CEO 李东先生将为您详细解读“区块链驱动的地图众包和共利新模式...曾任：-全球最大商用基础地图服务商Navteq（即Here Map）亚太区业务负责人；-全球最大导航服务提供商Destinator/Intrinsyc全球运营副总裁；中国首家和最大的众包交通信息服务商“
python 包 简介 官网解释包是一种通过使用"虚线模块名称"来构建Python的模块命名空间的方法。...看完这句话可能对包还没有太多的印象或理解，在使用pycharm中，我们也很容易发现，创建的选项很多，例如文件夹和python package，那么他们的区别就是，包下有__ init __.py 文件，...包的使用 如何使用包规范导入 结合模块来说，包就是多个模块功能的结合体。...需要注意的是，python3中如果包下没有 __ init __.py文件，import包不会报错，而在python2中，包下一定要有该文件，否则报错。...('from __init__.py') # 结果 from __init__.py '''发现导入包执行了__init__.py下的输出语句''' 在python3中，导入包和导入文件夹的区别就是
前言 在 Python 中，包是组织代码的重要方式，它使得代码的管理和复用变得更加高效和简洁。本文详细讲解了 Python 包的概念和使用以及如何利用第三方包扩展 Python 的功能和特性。...本篇文章参考：黑马程序员 一、自定义包 1. 什么是Python包？ 思考：在Python编程中，通过导入外部模块可以扩展代码的功能。...但是，如果Python的模块过多，可能会造成一定的混乱，我们应该如何管理呢？ 答：可使用Python包的结构和管理方式来有效组织和管理这些模块。...Python包（Package）是一种组织和管理Python模块的方式。 2. 目录结构 一个Python包实际上是一个包含多个模块的目录。...在 Python 中，第三方包指的是由社区或个人开发并发布的，不是 Python 标准库的包。
Python包 包用于将一组模块归并到一个目录中，此目录即为包，目录名即为报名 包是一个有层次的文件目录结构，它定义了一个由模块和子包组成的Python应用执行环境 基于包，Python在执行模块导入时可以指定模块的导入路径..._init_.py文件 _init_.py可包含python代码，但通常为空，仅用于扮演包初始化的挂钩、替目录产生模块命名空间以及使用目录导入时实现from * 行为的角色 模块的顶层执行及被导入 一个模块文件可以同时支持顶层执行...py_modules：各模块名称组成的列表，此些模块可能位于包的根目录下，也可能位于某子包目录中（subpkg1.modname）： packages：各子包名称的列表 大体分为两类：元数据信息和包中的内容列表...4完成打包 在要发布的容器目录中执行“python setup.py sdist --format= ”命令 // 目标包 //可以为sdist指定格式(--format=)：zip/gztar/...：获取特定命令支持使用的格式 pip，esay_install 安装包： python setup.py install 步骤:build and install: build定制: python setup
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
