中国历史悠久、文化底蕴厚重,拥有丰富多彩的非物质文化遗产,然而由于保护工作起步晚、时间短、投入不足、力度不够等诸多因素,遗产保护长期形成了数据储存乱、数据提取费力、数字化传播不足、数据价值挖掘难四大痛点...针对以上问题,甘肃省文旅厅与腾讯云达成战略合作,共建甘肃省非物质文化遗产大数据平台,对收录到甘肃省非物质文化遗产标准目录中的内容,进行统一的上传、存储、管理、展示。...举例来说,通过联合腾讯云建设非物质文化遗产资料汇聚系统,可以将分布在甘肃省各地市州县非物质文化遗产项目管理员电脑硬盘、移动硬盘、CD光盘中形式多样、数量巨大的非物质文化遗产资料进行整合。...在数据价值挖掘方面,甘肃省文旅厅与腾讯云将深入合作,完善平台申报审批、传承保护进度监督、文化创意授权的功能。 未来,查找甘肃省非物质文化遗产资料会更加高效精准。...不仅如此,甘肃省文旅厅与腾讯云将借鉴“一机游”全域智慧旅游模式,打造“一部手机游丝路”综合服务平台,为旅客提供丝路沿线一体化的“吃、住、行、游、购、娱”服务内容,探索甘肃敦煌、农耕、丝路传统文化与数字文化的融合
大搜车已经搭建起比较完整的汽车产业互联网协同生态。...在这一生态中,不仅涵盖了大搜车已经数字化的全国 90% 中大型二手车商、9000+ 家 4S 店和 70000+ 家新车二网,还包括大搜车旗下车易拍、车行168、运车管家、布雷克索等具备较强产业链服务能力的公司..., 与大搜车在新零售解决方案上达成深度战略合作的长城汽车、长安汽车、英菲尼迪等主机厂商,以及与中石油昆仑好客等产业链上下游的合作伙伴。...基于这样的生态布局,大搜车数字化了汽车流通链条上的每个环节,进而为整个行业赋能。 说到大数据,对于每个公司都不陌生。...大数据集群现状 大搜车目前大数据集群分为离线计算集群和实时计算集群,离线计算基于 Hive 和 Spark,实时计算基于 Flink,这两类集群分别基于 HDP 和 CDH 两套管理方式。
大数据调度系统,是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。...XXL-Job XXL-JOB是一个开源的,具有丰富的任务管理功能以及高性能,高可用等特点的轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。...Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。...类型支持 支持传统的shell任务,同时支持大数据平台任务调度:MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process...可以通过对用户进行资源、项目、数据源的访问授权。支持,可视化管理文件,及相关udf函数等。
5月28日,甘肃省公路航空旅游投资集团(以下简称公航旅集团)与腾讯云签署战略合作协议,双方将推动甘肃省产业互联网区域发展,共建全国首个省级“丝路融合”互联网生态圈平台。...签约仪式现场 甘肃省作为“一带一路”重要途径城市,是国家经济建设的黄金段,今年政府工作报告也明确提出要高质量共建 “一带一路”。...公航旅集团是省级集公路、航空、旅游和金融为一体的国有独资投资公司,成立8年来成功布局公路、航空、旅游、金融、保险、贸易、地产、文化传媒等多个业务板块,拥有涉及以上板块的40余家子(分)公司,目前已成为甘肃第一大经济体...进入数字经济时代,公航旅集团近年来着眼于带动甘肃互联网生态发展,腾讯作为产业升级的数字化助手,将为公航旅集团旗下各产业公司打造适应企业发展的数字化管理平台,以大数据分析为支撑,通过数据驱动业务,实现全面转型升级...腾讯云与甘肃省结缘已久,过去三年来,腾讯云一直致力于推进甘肃相关产业智慧化、信息化发展和服务。 不久前,腾讯云助力甘肃打造非物质文化遗产大数据平台,实现西北地区非物质文化遗产首次“上云”。
2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。...本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。 DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。...今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。...kill的应用程序 图片6.png 监控 yarn资源管理中被杀死的应用程序数量 纵轴表示应用程序数量,单位个 横轴表示时间,单位分钟 2、Spark监控界面 注意:(spark 运行任务后才有监控数据
从丝绸之路(敦煌)国际文化博览会,到建设大敦煌文化旅游经济圈;从敦煌壁画数字化到东方密语系列文创......甘肃省在用数字化影像技术助力其文化资源完成当代的华丽再现之外,也利用文创助力,为进一步挖掘、拓展...2018年9月,第三届丝绸之路(敦煌)国际文化博览会召开之时,腾讯公司倾全平台资源助力甘肃省政府、文旅厅做好文博会数字化升级。...作为腾讯文旅旗下的文创产业开放平台,腾讯文创以目的地文化为依托,打造文旅IP,塑造核心形象;以地域+腾讯IP为中心,构筑体验场景、文创体验项目,以设计力量,打造特色旅游商品,将创意设计、旅游资源、生活美学...与此同时,腾讯文创正在大力打造文旅融合云平台,助力各地文化旅游资源的数字化和资产化,提升文化资源的产业价值。...之后,腾讯文创将与更多的省市、旅游场景相结合,依托文化地理信息系统、文化大数据系统、数字文化内容系统、文化智能传播系统、文化价值转化系统五大系统,提升其文化资源的价值链和生命力,帮助旅游目的地构建核心竞争力和影响力
不过,世易时移,近年来美国出现了智能投资市场,涌现出很多基于大数据分析的智能理财平台,大大降低了财富管理的门槛,让原先处于“服务真空区”的中产阶级也能享受同等的财富管理服务。 ?...智能理财平台为什么会成功? 现在看来,有两大因素促成了这些智能理财平台的成功。 首先,ETF基金的出现大大降低了投资成本。...第1种:基于大数据分析给出投资建议 这种类型的平台根据客户在其他理财交易平台的行为数据,全面了解客户的财务状况和投资现状,帮助客户对过去的投资决策做出回顾。...这种模式利用大数据分析技术,让客户在咨询投资顾问之外,有了另一种渠道可以获取投资顾问提供的服务,比如分析需求、解读投资报告和调整投资方案等。...第2种:基于大数据分析购买投资组合 这种类型的平台基于客户的财务状况和风险承受能力,为客户推荐或购买相应的交易型指数基金。 ETF成为这类型平台的首选基金,因为它的周转率低,降低了交易成本。
时至今日,高核心数、SSD以及海量内存已并不稀奇,但是当下的大数据平台(通过搭建商用服务器集群)却并不能完全利用这些硬件的优势,存在的挑战也不可谓不大。...但是这里仍然存在一个非常大的缺点,在任何给定时间,到给定region的读写操作只被一个region服务器控制。如果这个region挂掉,故障将会被发现,故障转移会自动的进行。...通过使用开源平台,我们认真思索来自多个提供商的意见,在中型数据处理上,我们可以看到很大的发展空间。 更重要的是,我们的收获不只是性能一个特性,我们更可以通过开源技术连接到一个更广泛的发展空间。...使用HBase,用户可以在大的Portfolio文件上做拆分,并且分配到集群中的多个主机上进行处理。...这就意味着,Java当下已经成为很多高fan out计算系统的基础,其中包括Hadoop、HBase、Spark、SOLR等,同步进行垃圾回收将解决非常大的问题。
数据处理平台已不集中于传统关系型数据库,各种其他平台层出不穷,也各有其适用范围。 从哪些角度去理解各种数据处理平台的设计思想及发展演进呢?...这种方式有一个弊端是存储的数据量受限于内存的大小,数据量一大,索引也增大,数据就饱和了。 2)第二种方式是把大的索引结构,拆成很多小的索引来存储。...列式存储尤其适用于大表扫描,求均值、最大最小值、分组等聚合查询场景。...列式存储在MPP数据库里面应用广泛,例如RedShift、Vertica及hadoop上的Parquet等。这种结构适合需要大表扫描的数据处理问题,数据聚合类操作(最大最小值)更是他的主战场。...列式存储特别适合需要加载大的数据块,且数据块分到多个文件中的场景。Druid把一些近线实时数据放到写优化的存储中,然后随着时间的推移逐步把这些数据迁移到读优化的存储中。
而经过这些年的发展,大促早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,电商有 618 、11.11 等等,各种各样的大促场景,对包括数据库在内的基础软件提出了很多新挑战...整个快递的生命周期、转运周期可以用五个字来概括——收、发、到、派、签: [在这里插入图片描述] 而支撑整个快递生命周期的平台就是中通大数据平台。...中通从离线到实时的数据兼容再到数仓,有着一套比较完善的大数据平台体系。...ETL 建模也会依托该大数据平台,最终通过大数据平台对外提供数据应用的支持以及基于离线 OLAP 分析的支持,整个数据建模的频率可以支持到半小时级别。...在这个完善的大数据平台基础上,中通开始更多地思考如何增强实时多维分析能力。 [在这里插入图片描述] 中通与 TiDB 的结缘是在 2017 年调研分库分表场景时开始的。
今天为大家介绍几款数据采集平台: Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台,一般包括以下的几个过程...在商业化的大数据平台产品中,Splunk提供完整的数据采金,数据存储,数据分析和处理,以及数据展现的能力。...Splunk是一个分布式的机器数据平台,主要有三个角色: Search Head负责数据的搜索和处理,提供搜索时的信息抽取。...在Splunk提供的软件仓库里有很多成熟的数据采集应用,例如数据库(DBConnect)等等,可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。...总结 我们简单讨论了几种流行的数据收集平台,它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入,输出和中间的缓冲的架构。利用分布式的网络连接,大多数平台都能实现一定程度的扩展性和高可靠性。
今天,给大家分享一个有底蕴、有文化的平台: 甘肃省文旅厅与腾讯云联合建设的“甘肃非物质文化遗产大数据平台”正式上线! 首批次共 630 项国家、省、市、县四级“非遗”档案数据成功“上云”。...这是西北地区首个以数字化方式记录、保存和展示非物质文化遗产的大数据平台,对于非物质文化遗产保存和传承,以及推动相关成果转换利用有着重要意义。...还有一张“非遗地图”通过互动效果,分门类地呈现甘肃省非遗代表性项目和代表性传承人统计数据。...过去,甘肃省“非遗”存储方式以电脑硬盘、移动硬盘、DVD、CD光盘等为主,并由各市州、县区非遗项目管理员人工管理,数据存储分散、数据提取难度大、数据价值难挖掘的痛点十分明显。...经过甘肃文旅厅和腾讯云两年多的努力,目前分散在甘肃省各地的“非遗”数据正被汇聚到统一的平台上,并按照特别编制的数据标准进行高效整理和呈现,为数据的进一步分析提供了基础和保障。
作者简介 Wenjun,携程资深软件工程师,负责大住宿数据智能平台的研发与维护,对于大数据领域技术有浓厚兴趣。...一、平台现状 大住宿数据智能平台(简称HData)是一个为携程大住宿业务提供数据可视化的平台。...让权限大的用户通过Clickhouse请求数据,这样可以引流很大一部分用户。...离线T+1数据主要使用Zeus平台,通过Stream load的方式导入,以使用明细模型为主。...T+1数据我们通过携程自研的数据同步平台Zeus进行ETL和导入: 六、DR和高可用 携程对DR有着很高的要求,每隔一段时间都会有公司级的DR演练。
深度解析大快DKM大数据运维管理平台功能 之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dkhadoop安装包,不知道有没有去下载安装一探究竟。...关于DKHadoop下载安装基本已经讲清楚了,这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些,作为DKHadoop相配套的管理平台,是有必要对DKM有所了解的。...DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的管理应用,DKM 对 DKH 的每个部件都提供了细粒度的可视化和控制。...DKM 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过DKM ,可以方便地部署,并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程,从而减少了部署集群的时间。...2.提供实时的集群概况,例如节点,服务的运行状况; 3.提供了集中的中央控制台对集群的配置进行更改; 4.包含全面的报告和诊断工具,帮助优化性能和利用率; 基本功能:DKM的基本功能主要可以分为四大模块
相比于传统手工定制的图表与数据仪表盘,通用大屏搭建平台的出现,可以解决定制开发, 数据分散带来的应用开发、数据维护成本高等问题,通过数据采集、清洗、分析到直观实时的数据可视化展现,能够多方位、多角度、全景展现各项指标...本文将通过敏捷BI平台的通用大屏搭建能力的实现方案,来讲解一下通用可视化搭建平台整体的设计思路。...画布编辑器:是搭建平台的核心与难点,支持页面布局配置、页面交互配置和组件数据配置等功能,另外还支持代码片段的配置,也可以称得上是一个低代码平台。...五、效果预览六、总结本文通过可视化页面搭建、no/low code 平台、Schema 动态表单等技术思想来分析讲解了如何去设计开发一个通用的数据大屏搭建平台。...如果想实现更富有展现力, 满足更多场景的大屏搭建平台, 我们还需要进一步提高平台的扩展性和完善整体的物料生态, 具体规划如下:丰富和拓展大屏组件&配置能力,覆盖不同行业的可视化场景。
腾讯技术工程事业群数据平台部刘煜宏受邀参加“腾讯慧聚”品牌的发布仪式,并向在场嘉宾介绍了“腾讯慧聚”的5大产品平台。 ? 十年磨一剑,砺得梅花香。...据刘煜宏介绍,腾讯慧聚当前共包括五大平台:Dmaster(大数据一站式平台)、Tbase(海量事务处理平台)、TDbank(实时接入平台)、Hermes(实时多维分析平台)、TDinsight(机器学习基础平台...这五大平台除了Dmaster是一个一站式、覆盖全流程的平台外,其他四个平台各有侧重。这也是腾讯根据多年服务不同类型客户的经验,所挖掘出的不同需求。...作为实时接入平台,TDbank具有的“高灵活、高可用、高吞吐、低延时”的核心优势,可以从业务数据源获取数据分发给离线/在线处理平台,构建数据源和数据处理系统间的桥梁,将数据处理系统同业务侧的数据源解耦。...实时多维分析平台Hermes,是腾讯针对交互式海量数据分析需求自主研发的数据多维分析平台,是腾讯处理千亿级海量数据用户画像和多维分析的核心技术与经验的积累。
Putdb WebBuilder 图片 WebBuilder是一款开源的可视化移动Web应用开发和运行平台。...基于浏览器的集成开发环境,可视化和智能化的设计,能轻松完成常规应用和面向手机的移动应用开发;高效、稳定和可扩展的特点,适合复杂企业级应用的运行;跨平台、数据库和浏览器的架构,适应复杂的服务器和客户端环境...;包括智能数据库访问在内的多项先进技术,使应用系统的开发更快捷和简单。 ...它还支持离线,所以你的用户可以在没有连接网络的情况下继续操作(当下次有连线的时候,再将数据同步到服务器中)。提供优秀的文档(这个项目拥有一个引导新用户入门的开发指南). ...Jo 图片 Jo这个框架可用于开发那支持HTML5的移动设备,如iOS,webOS, Android和Chrome OS等平台。
将数据迁移至云中时,选择一个适合组织需求的策略很重要。随着数据迁移至云存储平台,有一些因素需要考虑,如你是否迁移了归档数据,他们具有不同的宕机需求。...IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质,它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择,对象存储可以用于私有、公有和混合云平台。...通过在每个文件中提供广泛的元数据,对象存储可以筛选大量非结构化数据,却不会让你感到苦恼。 公有与私有云各自优缺点 当选择云存储平台时,你可能在公有云与私有云之间难以选择。...通过将被动数据迁移到较低的存储层,混合云平台可以清理急需的存储空间,否则可能会被很少访问的数据浪费。...在灾难发生后保护,并确保重要数据可用并不是一件小事,但是使用云存储平台可使提供商做更多的工作。
618年中促进程过半,天猫、京东商城、苏宁易购促销方式各有不同,都希望借助新品爆品吸引流量,配合大促期间的满减打折,提高转化率。 来源:中国大数据
领取专属 10元无门槛券
手把手带您无忧上云