6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办、大数据技术标准推进委员会承办、中国IDC圈协办的2019大数据产业峰会在北京国际会议中心隆重召开。 腾讯游戏孙龙君、农益辉和刘天斯作为数据资产管理和知识图谱领域专家应邀出席。 腾讯游戏数据资产管理平台从300+申报中脱颖而出,荣获“2019年度大数据星河奖”,并获颁“数据管理平台基础能力测评”证书。 同时,腾讯游戏知识图谱平台“游谱”也于现场获颁“知识图谱工具基础能力测评”证书。 由腾讯游戏孙龙君、农益辉、刘天斯、黄志、陈才和赵丽萍参与编撰
作者 | 吴瑞诚 文章来源GitChat,CSDN独家合作发布,查看交流实录:http://gitbook.cn/books/58f8d1b07624530e1545fb7a/index.html 斗鱼是时下国内最大的游戏直播平台,日活用户达2000万,主播日活达40,000人,ALEXA全球排名约200名、国内约20名(高于优酷、Bilibili等站)。本文作者吴瑞诚,目前负责斗鱼数据平台部,本文中他将分享斗鱼大数据这块的玩法儿,包括斗鱼大数据平台的整体架构、斗鱼数据仓库、斗鱼个性推荐系统以及斗鱼风
自我介绍 我是吴瑞诚,现在负责斗鱼数据平台部,今天给大家分享一下斗鱼大数据这块的玩法。我先做个自我介绍,我是11年初华科通信硕士毕业就进入淘宝,主要做HBase相关开发,后来回武汉后在1号店转向应用架
我们首先去Ubuntu的官网下载一个Ubuntu16.04的iso镜像文件。当然里面也有优麒麟,其实就是把Ubuntu16.04汉化了一下,个人推荐安装Ubuntu16.04 体验上可能好一些。
导语 | 数字经济时代,诞生了海量数据资源,促使数据存储技术也在不断推陈出新。12月1日,在2022腾讯全球数字生态大会存储专场上,腾讯云发布了多款云存储产品能力上新,并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享,为广大企业实现数字化转型和业务创新提供参考借鉴。 分布式存储产品能力上新,助力企业进一步降本增效 随着数字技术与实体经济的进一步融合,各行各业对云存储的需求越来越大,当下,国内云存储市场也在迅速发生变化。 腾讯云存储产品总监崔剑指出,“全球数据量呈现指数级增长,
微服务架构是一种软件开发模式,它将一个复杂的应用程序拆分为多个个独立的、小型的、可复用的服务,每个服务负责一个特定的业务功能。
12 月 3 日、4日,2022 Apache IoTDB 物联网生态大会在线上圆满落幕。大会上发布 Apache IoTDB 的分布式 1.0 版本,并分享 Apache IoTDB 实现的数据管理技术与物联网场景实践案例,深入探讨了 Apache IoTDB 与物联网企业如何共建活跃生态,企业如何与开源社区紧密配合,实现共赢。
墨墨导读:本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历,这里先抛砖引玉,欢迎大家一起交流讨论。
12 月 8 日晚 19:00,「Milvus 冬日限定趴」 在 Zilliz 视频号直播间与大家相聚!在 2.2 新版本发布之际,Milvus 社区用户的老朋友,Zilliz 研发工程师李成龙带来了 Milvus 新功能的解读。来自什么值得买的架构师杨守斌和苏宁的智能运营研发中心技术总监宋志也来到直播间与大家分享了 Milvus 在电商领域中的实践。
点击关注公众号,Java干货及时送达 来源:https://github.com/superhj1987/pragmatic-java-engineer/blob/master/book/chapter1-servertech/server-basic.md 使用Java后端技术的目的就是构建业务应用,为用户提供在线或者离线服务。因此,一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。 纵观整个互联网技术体系再结合公司的目前状况,笔者认为必不可少或者非常关键的后端基础技术/设施如
2020 年是元数据管理兴起的一年。在 Datakin 你可以看到元数据管理的发展历史。在前人努力的基础上,Datakin 和其它的开源数据血缘以及架构软件,比如 Airflow,Amundsen,Datahub,dbt,Egeria,Great Expectations,Iceberg,Marquez,Pandas,Parquet,Prefect,Spark 和 Superset 宣布开放血缘(Open Lineage)倡议。
作为菜鸟,为了满足我自己的求知欲,特别照着几篇大神教程装了一遍,给大家分享一下流程。
本系列为小白入门整个AI项目教程,主要涉及双系统的搭建,linux的使用,安装caffe-gpu版本,利用caffe实现目标检测,并移植模型到android移动端,也就是手机端进行目标检测,本篇为安装双系统的教程。
数据的一致性和完整性对于在线业务的重要性不言而喻,如何保证数据不丢呢?今天我们就探讨下关于数据的完整性和强一致性,MySQL做了哪些改进。
本系列为小白入门整个AI项目教程,主要涉及双系统的搭建,linux的使用,安装caffe-gpu版本,利用caffe实现目标检测,并移植模型到android移动端,也就是手机端进行目标检测,本篇为安装双系统的教程,本人保证为原创并使目前全网基本上最最详细的手把手教程
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能,通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
2019年MongoDB中文社区年终盛会将于2020年1月4日(星期六)在深圳福田区车公庙附近召开。来现场,您将收获3大专场经验加持:
下载Ubuntu16.04 我们首先去Ubuntu官网下一个Ubuntu16.04的iso镜像文件。
为了保证应用的高可用和高并发性,一般都会部署多个节点;对于定时任务,如果每个节点都执行自己的定时任务,一方面耗费了系统资源,另一方面有些任务多次执行,可能引发应用逻辑问题,所以需要一个分布式的调度系统,来协调每个节点执行定时任务。
2022年第二届运筹优化及 人工智能研讨会第二轮通知 PART ONE 会议介绍 各位专家、学者、同学: 感谢您对本届研讨会的持续关注!“第二届运筹优化及人工智能研讨会”将于2022年7月30日至8月1日在西安举办,由西北工业大学管理学院承办,研讨会聚焦运筹优化及人工智能技术和应用,旨在打造学界与业界交流合作平台,深度交流最新研究成果和前沿技术发展,探讨推动运筹优化及人工智能算法在交通运输、物流供应链、智能制造、智慧医疗和企业管理等领域中的应用。 本次会议特别邀请了一批在国
今天就来说一下其中的统计服务:目的主要是为了实现 H5 页面的分渠道统计(其实不仅仅是分渠道统计,核心是想做一个自定义事件统计服务,只是目前有分渠道统计的需求),查看每个渠道具体的 PV 情况。(具体会在 url 上面体现,会带上页面名称、id、渠道类型等)
日志是我们工作中经常提及的内容,但是我们很少关心他的实现原理,基本的都是直接使用别人配置好的东西,那么这么多的日志框架,他是如何做到日志的统一打印呢,spring是如何实现的,springboot是如何实现,又有哪些日志框架呢,具体是如何实现以及选择的呢
监控数据采集领域,比如 Prometheus 生态有非常多的 Exporter,虽然生态繁荣,但是无法达到开箱即用的大一统体验,Exporter 体系的核心问题有:
Nginx的访问日志中,存在499状态码的日志。但常见4xx状态码只有400、401、403、404等,499并未在HTTP RFC文档。这499错误日志,在流量较大场景下,特别是面向Internet的Web站点场景下还是很常见 。
统一日志系统提供了一个单一的、高效的、高性能的API,用于捕获跨系统所有级别的消息传递。这个统一的系统将日志数据集中存储在内存和磁盘上的数据存储中。系统实现控制日志行为和持久性的全局设置,同时通过日志命令行工具和使用定制日志配置文件在调试期间提供细粒度控制。使用/Applications/Utilities/中的控制台应用程序和Log命令行工具可以查看日志消息。集成了日志记录和活动跟踪,使问题诊断更容易。如果在日志记录时使用活动跟踪,则会自动关联相关消息。
1.Redis的持久化: RDB(默认) 二进制存储持久化数据,速度相对较快 持久化时机:save second keys RDB无法保证数据的安全 2.AOF AOF是一日志的形式持久化,用户的写操作,速度慢 AOF持久化时机:always ,everysec,no AOF相对RDB更加安全 3.官方推荐同时开启RDB和AOF两种持久化机制 在恢复数据时,AOF的持久化优先级更高 同时开启AOF和RDB ,在RDB执行持久化时,RDB数据会被AOF覆盖 4.AOF重写 自动重写:指定AOF的文件超过技术的
日志是记录系统中各种问题信息的关键,也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。
Ubuntu安装过程中,磁盘分区是我们头疼的环节,如果直接按照安装程序推荐总感觉分得不太对,磁盘用着用着就不够用了,特别是装双系统的情况下,本文介绍一下笔者的分区方案。
原文:http://www.enmotech.com/web/detail/1/735/1.html (复制链接,打开浏览器即可查看)
本文大纲: Abstract Introduction 研究动机 TDSQL整体架构 TDSQL对时态数据库的需求 T-TDSQL核心技术与系统的价值 T-TDSQL解决了的问题 Acknowledgments References 1 Abstract TDSQL是腾讯公司研发的一款事务型分布式数据库。 T-TDSQL是基于TDSQL的一个分布式全时态数据库。其特点是可扩展、多版本事务管理、分布式存储和计算、强数据一致性和强同步机制,且提供有效时间、事务时间双时态的全态数据存储、管理、计算。 这
使用Java后端技术的目的就是构建业务应用,为用户提供在线或者离线服务。因此,一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况,笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示:
从爱数的数据管理、灾备等核心产品的升级,到人工智能战略发布以及融合数据服务解决方案的落地,再到日前在京推出的多模态数据智能架构,频频的动作表明,这家纵横数据管理市场多年的企业,将以“大数据基础设施提供商”的身份,进军数据智能市场。
宋廷豪,高级工程师,就职于PCG-腾讯看点。主要负责QQ浏览器信息流推荐架构的相关工作。
“天下武功,无坚不摧,唯快不破” 2019年6月6日 下午6:06分 全民女神林志玲宣布结婚,这是一条爆炸新闻,究竟有多炸??,一会儿我再给你分析,看到这条消息的这一刻,我的心里也一阵悲叹,为什么在全
清华的小伙伴们看过来,听说校内有一个能力提升项目备受各院系师生推崇,因为它: 群星璀璨——项目吸引了25个院系的名师加盟; 人气超高——历年报名同学累计超3000人,几乎涵盖校内所有院系; 校企联动——知名企业深度参与,提供各种资源和实践机会; 没错,它就是清华大学大数据能力提升项目~ 通过项目学习,同学们将进阶为具有跨学科交叉应用能力的复合型人才!非信息类同学将更具数据思维和跨学科交叉能力,信息类同学将更具产品营销思维和业务管理能力! 2022年秋,大数据能力提升项目全新升级为“3+X”培养方案,
上一文章中,我们了解了HDFS的架构和读写流程。 HDFS通过将文件分块来存储大文件,HDFS的组件有NameNode和DataNode,分别负责提供元数据和数据服务 在读/写数据时,HDFS客户端需要先从NameNode上获取数据读取/写入的DataNode地址,然后和DataNode交互来完成数据读/写。
本文是WOT2016互联网运维与开发者大会的现场干货, 新一届主题为WOT2016企业安全技术峰会将在2016年6月24日-25日于北京珠三角JW万豪酒店隆重召开! 卢学裕的演讲分为小米数据工场的技
点击上方蓝字关注我们吧 作者简介:孙旭,腾讯云高级工程师。10年数据库内核研发经验,熟悉PostgreSQL、Teradata数据库内核,熟悉数据库的查询优化、执行、事务并发以及存储等子系统;对分布式数据库有深入的研究和研发经验。目前在腾讯云从事CynosDB数据库研发工作。 ---- 2019年5月8日-10日,DTCC2019年中国数据库大会上,腾讯云数据库高级工程师孙旭,受邀做了主题为《CynosDB for PostgreSQL一主多读架构》的技术分享,以下为大会现场演讲内容。 关注“腾讯云数据
生产环境中一台mysql主机存在单点故障,所以我们要确保mysql的高可用性,即两台MySQL服务器如果其中有 一台MySQL服务器挂掉后,另外一台能立马接替其进行工作。 MySQL的高可用方案一般有如下几种: keepalived+双主,MHA,PXC,MMM,Heartbeat+DRBD等,比较常用的是keepalived+双主,MHA和PXC。 本节主要介绍了利用 keepalived 实现 MySQL 数据库的高可用。 Keepalived+mysql双主来实现MySQL-HA,我 们必须保证两台MySQL数据库的数据完全一样,基本思路是两台MySQL互为主从关系,通过Keepalived配置虚 拟IP,实现当其中的一台MySQL数据库宕机后,应用能够自动切换到另外一台MySQL数据库,保证系统的高可 用。 一、配置两台MySQL主主同步 该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前,master在二日志记录这些改 变。MySQL将事务写入二进制日志。在事件写入二进制日志完成后,master通知存储引擎提交事务。 下一步就 是slave将master的binary log拷贝到它自己的中继日志。首先,slave开始一个工作线程——I/O线程。I/O线程 在master上打开一个普通的连接,然后开始binlog dump process。Binlog dump process从master的二进制日 志中读取事件,如果已经同步了master,它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日 志。 SQL slave thread(SQL从线程)处理该过程的后一步。SQL线程从中继日志读取事件,并重放其中的事 件而更新slave的数据,使其与master中的数据一致。只要该线程与I/O线程保持一致,中继日志通常会位于OS 的缓存中,所以中继日志的开销很小。 主主同步就是两台机器互为主的关系,在任何一台机器上写入都会同 步。 若mysql主机开启了防火墙,需要关闭防火墙或创建规则。 master1有关复制的配置如下:
数据猿导读 随着数据量的不断增大、接入的系统越来越多,系统加工效率逐步降低,满足内部数据分析和监管机构的监管数据不断增加的需求,农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
Dongyu,资深云原生研发工程师,专注于日志与OLAP领域,主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。
在2023年11月12日,刚经过双11的购物节大压力的阿里,却从17:44起发生了服务宕机,旗下的淘宝、闲鱼、饿了么等服务出现服务中断,甚至让高校学生宿舍的洗衣机都“宕机”了。从阿里云健康看板公布的数据可以看出,阿里云的几乎所有的云产品等服务都受到了影响,影响了全球范围内多个地域。阿里云这次故障,放在整个云厂商界都是炸裂般的存在。阿里云历时3个多小时,服务才陆续恢复。
2022年1月4日,#西安一码通#又一次登上微博热搜,因为崩了。。。 西安一码通是由谁搭建的呢?谁参与了呢? 通过公开招投标公告查询到如下信息,供大家参考。 2020年3月1日,中国电信股份有限公司西安分公司发布《疫情联控平台一码通项目》单一来源采购公示 采购内容:1套疫情联控平台一码通系统开发采购。 单一来源采购原因:疫情爆发期间,西安市政府致函要求我公司牵头负责疫情联控平台一码通系统部署及相关技术保障工作(该平台软件需在我公司与西安东软系统集成有限公司前期合作产品基础上进行系统功能的升级形成疫情
马云说过:企业价值大小决定于解决“痛点”的能力,解决的问题越重要,企业的价值越大。不要去争当“首富”,而是要争当“首负”,必须对用户、对社会负责。一句话,企业的业绩营收和解决用户问题的能力相辅相成。
日前,TDSQL新敏态引擎正式发布,高度适配金融敏态业务。 该引擎完美解决对于敏态业务发展过程中业务形态、业务量的不可预知性,实现了EB级存储的Online DDL,能够大幅提升表结构变更过程中的数据库吞吐量,从而有效应对业务的变化。同时,腾讯独有的数据形态自动感知特性,可以使得数据能够根据业务负载情况自动迁移,打散热点,降低分布式事务比例,获得极致的扩展性和性能。 作为腾讯面向企业级应用场景的分布式数据库产品,目前TDSQL已在众多金融、政务、电商、社交等客户应用案例中奠定了金融级高可用、强一致、高性能
HVV行动已经进行到了11天,处置的工作明显增多,随着各种情况发生,所以这两天分别整理一些关于Linux和Windows的排查手册。
SpringBoot默认使用Logback打印日志,出于性能考虑想要改用Log4j2,需要修改POM中的依赖,移除默认的Logback依赖:
数据猿导读 11月3日下午,由热云数据,极光推送,Testin主办的《数据·运营·营销|移动互联网那些不得不说的事儿》线下沙龙在北京举办。Testin运营总监潘志刚、极光推送高级工程师李静、热云数据副
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
领取专属 10元无门槛券
手把手带您无忧上云