本文转载自互联网金融干货 作者经过研发多个大数据产品，将自己形成关于大数据知识体系的干货分享出来，希望给大家能够快速建立起大数据产品的体系思路，让大家系统性学习和了解有关大数据的设计架构，很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了解大数据产品设计架构和技术策略，如需深入学习和了解互联网电商、互联网金融和大数据方面干货，核心底层技术及架构设计，可以关注微信公众号：互联网金融干货，有时间就会和大家分
在互联时代，拥有一个大数据战略来收集、存储、组织和分析广泛客户数据的踪迹，对于及时开展个性化客户交互至关重要。幸运的是，通过采用正确的技术、基础设施和分析功能来全面释放这一数据的潜力，实现与互联客户的更深入交流，绝非空想。 以下这五种使用大数据分析的途径将能够帮助您提升互联客户体验： 1. 找到“隐藏的”大数据见解，更全面地了解客户。 在大数据的初期，从电子邮件和网站点击收集到的见解帮助企业重塑了营销计划，启动了新的活动，并带来了更加个性化的体验。但所有这些优势通常采用产品推荐的形式完成。 现在，新的数据类
数据猿导读 2016年，程序化购买产业链进一步完善，更多的厂商推出了自己基于大数据的数据+流量+优化的一站式解决方案，华院（上海）CEO唐岳岚，RTB在大数据智能化营销领域将大有作为。 作者 | 唐岳
作者经过研发多个大数据产品，将自己形成关于大数据知识体系的干货分享出来，希望给大家能够快速建立起大数据产品的体系思路，让大家系统性学习和了解有关大数据的设计架构。 很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了解大数据产品设计架构和技术策略。 大数据产品，从系统性和体系思路上来做，主要分为五步： 针对前端不同渠道进行数据埋点，然后根据不同渠道的采集多维数据，也就是做大数据的第一步，没有全量数据，何谈
作者刘永平经过研发多个大数据产品，将自己形成关于大数据知识体系的干货分享出来，希望给大家能够快速建立起大数据产品的体系思路，让大家系统性学习和了解有关大数据的设计架构。 很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了解大数据产品设计架构和技术策略。 大数据产品，从系统性和体系思路上来做，主要分为五步： 针对前端不同渠道进行数据埋点，然后根据不同渠道的采集多维数据，也就是做大数据的第一步，没有全量数据，
欢迎熟悉外语（含各种“小语种”）的朋友，加入大数据文摘翻译志愿者团队，回复“翻译”和“志愿者”了解详情。 大数据文摘翻译作品 作者：Mark Van Rijmenan 翻译：龙吟 校对：孙强 欢迎个人转发朋友圈；其他机构或自媒体转载，务必后台留言，申请授权 物联网连接万物，可谁又能想到最近网络挂上了啤酒瓶子？这又是玩哪出？原来，是喜力在瓶子上装了体感控制器，从此这玻璃瓶就能闻音起舞。我们说这招有创意，够酷！但这不是这个点子的全部。这个传感器除了制造光音互动外，它还能收集数据。这一招, 使得喜力一箭双雕。通过
在产品矩阵业务中，通过仪表盘可以快速发现增长中遇到的问题。然而，如何快速洞悉问题背后的原因，是一个高频且复杂的数据分析诉求。
NoSQL 一种称为NoSQL的新形式的数据库（Not Only SQL）已经出现，像Hadoop一样，可以处理大量的多结构化数据。但是，如果说Hadoop擅长支持大规模、批量式的历史分析，在大多数情况下（虽然也有一些例外），NoSQL 数据库的目的是为最终用户和自动化的大数据应用程序提供大量存储在多结构化数据中的离散数据。这种能力是关系型数据库欠缺的，它根本无法在大数据规模维持基本的性能水平。 在某些情况下，NoSQL和Hadoop协同工作。例如，HBase是流行的NoSQL数据库，它仿照谷歌的Big
由于关注的重心从我们收集数据的方式转向实时处理数据，大数据时代即将终结。大数据现在是支持多云、机器学习和实时分析这几个新时代的业务资产。
西安作为西部最大的国家中心城市和“一带一路”战略重要支点城市，具有承东启西、连接南北的重要战略地位。近年来，随着西安常住人口和机动车保有量的不断攀升, 然而受棋盘式路网格局、城市快速通道少、平面交叉路口多、立体交通格局尚未形成等因素影响，城市交通供需矛盾较为突出，交通管理面临严峻挑战。
很多人都看过关于大数据方面的文章/书籍，但都是零散不成系统的，对自己并没有起到特别大的作用，所以本文希望能解决大家的疑惑，带大家从整体体系思路上，了解大数据产品设计架构和技术策略。
Kafka的优势比较多如多生产者无缝地支持多个生产者、多消费者、基于磁盘的数据存储、具有伸缩性、高性能轻松处理巨大的消息流。多用于开发消息系统，网站活动追踪、日志聚合、流处理等方面。今天我们一起来学习Kafka的相关知识吧！
说到营销，就不可避免地谈到流量，也就是用户。当我们通过营销活动吸引用户进入线索系统，后续的流程就是对用户数据进行清洗、下发跟进，直到用户转化，而用户的转化率是有限的。
对大规模数据集进行分析能够帮助我们掌握隐藏模式、客户偏好、未知关联性、市场趋势以及其它极具价值的业务信息。在此基础之上，企业能够实现成本削减、促进决策制定并提供更多有针对性的产品与服务。而在今天的文章
Spark的适用场景 从大数据处理需求来看，大数据的业务大概可以分为以下三类 ： （1）复杂的批量数据处理，通常的时间跨度在数十分钟到数小时之间。 （2）基于历史数据的交互式查询，通常的时间跨度在数十秒到数分钟之间。 （3）基于实时数据流的数据处理，通常的时间跨度在数百毫秒到数秒之间。 目前已有很多相对成熟的开源和商业软件来处理以上三种情景 ：第一种业务，可以利用 MapReduce 来进行批量数据处理 ；第二种业务，可以用 Impala 来进行交互式查询 ；对于第三种流式数据处理，可以想到专业的流数据处理
在当今的数字革命浪潮中，大数据成为公司企业分析客户行为和提供个性化定制服务的有力工具，大数据切切实实地帮助这些公司进行交叉销售，提高客户体验，并带来更多的利润。 随着大数据市场的稳步发展，越来越多的公司开始部署大数据驱动战略。 Apache Hadoop是目前最成熟的大数据分析工具，但是市场上也不乏其他优秀的大数据工具。目前市场上有数千种工具能够帮你节约时间和成本，带你从全新的角度洞察你所在的行业。 以下介绍18种功能实用的大数据工具： Avro：由Doug Cutting公司研发，可用于编码Hadoop文
法律大数据专题文章计划： 《大数据解读2014年中国裁判文书公开》系列文章，通过业界领先大数据分析技术，对公开裁判文书大规模分析、统计，在全量数据基础上对裁判文书公开情况量化评估。本系列文章具有尝试研究性质，文章的数据全部来自互联网公开数据，所得结论仅用于研究讨论目的，本文的评价依据均来自数据，不代表本文作者及作者所在机构立场。 本文大数据技术源自法海风控网(http://www.fahaicc.com)、法数研究平台(http://www.falvdata.com)的技术底层：天罗采集系统、无量存储系统
做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就是Spark 和 Flink两面大旗。
image.png 郭 锐 腾讯公司FiT金融产品创新实验室&平台研发部助理总经理 不知从什么时候开始，交流金融科技，不提区块链和大数据，感觉就已经OUT一样。但不像大数据，在很多场景落地开花，产生了很多实际的价值。区块链却还是火在概念，迟迟落地很难，但大家都好像得了区块链焦虑症。很多同学会问，区块链到底能帮我们解决什么问题？标准的答案是去中心，去信任化，安全，不可篡改，可追溯等等。然后想了一下，似乎也不能解决什么本质问题。因为没有人认为自己是不安全的，或者认为自己是不被信任的。于是大家要么得出
主讲嘉宾：谢国忠 主持人：中关村大数据产业联盟 副秘书长 陈新河 承 办：中关村大数据产业联盟 嘉宾介绍： 谢国忠先生，目前为IBM大中华区全球企业咨询部副合伙人、业务分析与优化服务中国区总经理。他具有20年以上工作经验，17年专注于数据管理、商业智能应用、业务分析、客户关系管理及大数据等解决方案。他曾服务于NCR/Teradata公司13年，是Teradata中国最早的员工之一，历任专业服务总监、中国区副总经理。国内众多大型金融机构企业级数据仓库及其分析系统，都是他当年领导的团队帮助建设的。目前，谢先生负
传统企业在数字化转型中，大数据分析技术对数据有效的展示能够极大提高对信息的洞察力。目前虽然已有大量的大数据可视化工具可供使用且很多大数据企业也正在使用这些工具，但在企业中能有效使用大数据可视化工具的还是很少。西安弈聪信息技术有限公司(简称:弈聪软件)CEO卓建超认为,虽然大数据可视化分析技术已经得到了深入发展，企业对于数据可视化的投资和意识都在不断增加，但是可视化工具的长期采纳以及企业的投资回报依然很难实现。现在虽然大数据可视化仍然具有巨大的前景，且近十年来它也一直是一门主流学科，但目前它依然不够成熟。
数据猿导读 面对猖獗的金融欺诈，如何借助人工智能、大数据技术，在新型模式下，高效、准确地应对金融行业中从线下到线上，从单点到海量并发，从人工到自动化程序化各方面进行的欺诈升级，提高整体反欺诈能力，对于
从政府引导到行业自我发展，大数据都是一个充满光和机遇的领域。作为传统行业，零售行业自然也将面临这一次挑战，而作为支撑大数据与零售重要特性的CRM系统也迎来了一个关键转型。那么，传统行业的零售行业CRM
20世纪80年代末90年代初， 决策支持系统开始与专家系统（Expert System, ES）相结合，形成智能决策支持系统（ Intelligent Decision Support System, IDSS）。智能决策支持系统充分发挥了专家系统以知识推理形式解决定性分析问题的特点，又发挥了决策支持系统以模型计算为核心的解决定量分析问题的特点，充分做到了定性分析和定量分析的有机结合，使得解决问题的能力和范围得到了一个大的发展。智能决策支持系统是决策支持系统发展的一个新阶段。20世纪90年代中期出现了数据仓库（Data Warehouse, DW）、联机分析处理（On-Line Analysis Processing, OLAP）和数据挖掘（Data Mining, DM）新技术，DW+OLAP+DM逐渐形成新决策支持系统的概念，为此，将智能决策支持系统称为传统决策支持系统。新决策支持系统的特点是从数据中获取辅助决策信息和知识，完全不同于传统决策支持系统用模型和知识辅助决策。传统决策支持系统和新决策支持系统是两种不同的辅助决策方式，两者不能相互代替，更应该是互相结合。 把数据仓库、联机分析处理、数据挖掘、模型库、数据库、知识库结合起来形成的决策支持系统，即将传统决策支持系统和新决策支持系统结合起来的决策支持系统是更高级形式的决策支持系统，成为综合决策支持系统（Synthetic Decision Support System, SDSS）。综合决策支持系统发挥了传统决策支持系统和新决策支持系统的辅助决策优势，实现更有效的辅助决策。综合决策支持系统是今后的发展方向。
来源 | https://www.leiue.com/big-data-definitions-and-concepts
这是GHBD的第5篇文章 GHBD旨在推广医院医疗大数据与人工智能的发展 “让我们与世界连接” 叶锦坤 中国香港大学深圳医院 【摘要】 随着国家深化医疗改革的不断推进，信息技术的发展对医院起着越来越重要的作用。国家对医疗卫生机构实施大数据工作的要求也越发详细具体，这是医院精细化管理发展的重要趋势。 作为医院大数据的一块，移动数据在移动设备、物联网技术发展越来越成熟的今天起着越来越重要的作用。 本文从医院角度出发，结合移动医疗信息系统的建设，探讨医院发展与移动大数据的关
一场突如其来的疫情，打乱了已经规划好的营销计划，取消了计划中/正在实施的线下项目，年前大手笔的营销投入到头来“一场空”。
大数据是驱动机器学习等业务的燃料，机器学习构成了人工智能(AI)的基石。通过挖掘(和分析)大数据，人们能够发现某种模式，以更好地理解事情发生的原因。然后，他们还可以使用AI来预测未来可能发生的情况，并根据这些见解制定战略方向。大数据业务领域中的数据类型[22]如下：
大数据营销是收集和分析平台数据以获得相关用户的某些特征，然后以一定程度的针对性，精确性和个性化的营销策略。因此，使用大数据进行销售的公司已成为主流。为此，亿信华辰将与您分享一些大数据营销案例！
一、物联网 1、什么是物联网? 物联网在之前被定义为通过射频识别(RFID)、红外线感应器、全球定位系统、激光扫描器、气体感应器等信息传感设备按约定的协议把任何物品与互联网连接起来进行信息交换
作者: Divakar Mysore等 来源: DeveloperWorks 摘要：本文介绍一种评估大数据解决方案的可行性的基于维度的方法。通过回答探索每个维度的问题，您可以通过自己对环境的了解来确定某个大数据解决方案对您是否适合。仔细考虑每个维度，就会发现有关是否到了改进您的大数据服务的时候的线索。 简介 在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查
1.悉尼机器人杯将会成为最大的年度机器人大赛 2019年6月，来自50个国家2000位研究人员和工作者将会聚集在悉尼，竞争澳大利亚世界级年度机器人大赛——RoboCup——的奖杯。大赛中会有很多不同的
今天越来越多的企业认识到，大数据的掌控和分析能力将成为竞争力的核心，企业对大数据的投资也在不断扩大。Gartner调查显示，73%的企业计划在未来两年内投资大数据。以开源Hadoop、Spark等为基础的大数据基础平台解决方案和云服务如雨后春笋不断涌现，形成了近200亿美元的市场规模。然而对于很多企业用户来说，如何评价一个大数据平台的综合能力，常常是选型、平台建设和系统优化时面临的一大挑战。目前来看，国内外还缺乏一套能体现大数据特点，又简便易行，且被工业界广泛认可的大数据平台性能测试标准与工具。 记者日前
对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。 比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。将Hadoop MapReduce与Spark作一番比较来得更明智，因为它们作为数据处理引擎更具有可比性。 过去几年，随着数据科学趋于成熟，也日益需要用一种不同的方法来处理
作者：沈浩老师，中国传媒大学新闻学院教授，中国传媒大学调查统计研究所所长，大数据挖掘与社会计算实验室主任。
最近有段视频很火，《CCTV重磅新闻：美国超级间谍潜入中国！就在你身边》！描述了借助iPhone手机的定位功能，记录了您的所有行踪。
前言 随着腾讯产品与技术的发展，几乎任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数从亿到百亿，对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻辑与物理形式相对独立等，比较适用于中小规模的数据，但对于数据的规模和并发读写方面进行大规模扩展时，RDBMS性能会大大降低，分布式更为困难。 为什么会选择HBase？ 高可靠性。HBase是运行在Hadoop上的NoSQL数据库，它的数据由HDFS做了数据冗余，具有高可靠性。同时TDW（腾讯分布式数据
数据猿导读 从发展趋势来看，后Hadoop时代又回到了解决大数据的4个V上。另外，分布式计算已经被证明比传统技术更加高效、更具有性价比的方案，逐渐成为了主流的计算方式。 作者 | 孙元浩 本文长度为2
8月，在满是酷热的上海，阿里云携手驻云在上海云基地举办了“云时代，企业如何轻松上云”的专题活动， 活动邀请了阿里云市场部总监金杰就目前的云市场和新技术展开了分享和讨论。 用数据说话：45% VS 4%？ 云计算是IT时代的转战互联网+的一大进化，计算能让一个公司在大数据的浪潮中也拥有像阿里巴巴、腾讯一样的技术支撑能力，但在这之前，企业一定要的理解和选择品牌云计算厂商。 阿里云运营总监金杰表示：云计算成为国家基础设施从IT到DT（Data Technology），近几年，云服务增长率为45%，传统 IT整
通常每年的一季度，都是银行的“开门红”时间，银行往往会在此时加大营销力度，做大业务量。但2020开年以来，受新冠肺炎疫情的影响，民众居家隔离，对手机、电脑等智能终端依赖极强，各大银行线下网点服务量断崖式下跌。
在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。2013年，国内大数据时代到来，一方面如果做的事情与大数据不沾边，都显得自己水平不够，另外一方面京东业务在这一年开始飞速发展，所以传统的方式已经跟不上业务的发展了，为此推荐团队专门设计了新的推荐系统。 随着业务的快速发展以及移动互联网的
在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。
作者 | fisherman、Davidxiaozhi 本文摘自《决战618：探秘京东技术取胜之道》，两位作者时任京东推荐系统负责人和系统架构师。 在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短
制造业是一个国家综合国力最重要的表现，在国民经济中占有重要份额，也是决定民众生活质量的重要条件。中国的制造业在改革开放30多年来取得了举世瞩目的成就，连续几年成为“世界制造力竞争指数”最强的国家，中国已然成为世界制造业的新中心。2015年中，国务院印发《中国制造2025》，部署全面推进实施制造强国战略。配套“互联网+”和“供给侧改革”等多项措施，“智能制造”被定位为中国制造的主攻方向。 一.大数据及工业大数据的特性 数据本身不会为你带来价值，数据的技术也不会让我们的制造业更先进，数据必须转成信息后才会对产业
摘要：相比起“Hadoop、Spark”这种流行的大数据处理平台，说起“图计算”，可能许多人还比较陌生。“图计算”是以“图论”为基础的对现实世界的一种“图”结构的抽象表达，以及在这种数据结构上的计算模式。 一、何为“图计算” 相比起“Hadoop、Spark”这种流行的大数据处理平台，说起“图计算”，可能许多人还比较陌生。甚至有人会误把它当成专门进行“图像”处理的技术。 首先我们互联网上通常的定义来说明一下图计算： “图计算”是以“图论”为基础的对现实世界的一种“图”结构的抽象表达，以及在这种数据结构上的计
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 12日下午的互联网大数据分论坛，滴滴机器学习研究院研发总监刘威、百度主任架构师、机器翻译技术负责人何中军、京东商城大数据研发部负责人刘彦伟、中国人民大学
数字化时代，人工智能、大数据、云计算、边缘计算、物联网、移动互联网、第五代通信等新技术正在逐步影响着人们的生活。将这些数字化时代的新技术应用于气象服务的具体应用场景上会怎样？今天开开“脑洞”，大胆的进行了一些设计，虽然只是一种想法，但我非常希望我们的气象服务越来越智慧，越来越有价值。以下是具体的设计思路和应用场景，如有不妥之处请业内同行批评指正。
携程作为中国领先的综合性旅行服务公司，每天向超过2.5亿会员提供全方位的旅行服务。拥有海量的用户行为数据、订单数据、供应商操作数据和员工操作数据等。 云海是携程旗下的大数据算法竞赛平台，旨在发掘和培养优秀的大数据人才，以“众创、众智、众包”的新模式，共同探索大数据机器学习的无限潜能。 云海大数据算法竞赛是携程主办的顶级算法竞赛，通过开放数据让所有对机器学习感兴趣的人有机会应用算法来解决旅游行业的实际问题。 通过举办机器学习沙龙，云海希望聚集来自各地的数据科学爱好者，切磋技艺、合作交流、并成为好友，在沙龙讨论
自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x的时代。这些年来，Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？在全新的时期，有哪些方向值得关注？Hadoop技术社区又将走向何方？2019年8月10日，Hadoop将首次在中国组织meetup，为你揭晓大数据Hadoop技术与社区发展的Roadmap。 活动时间和地点 时间：2019年8月20日 地点：北京希格玛大厦北塔 B1 多功能厅 活动议程 9:40-10:
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
