首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

vivo 服务海量数据存储架构演进与实践

一、写在开头 vivo 服务提供给用户备份手机上联系人、短信、便签、书签等数据能力,底层存储采用 MySQL 数据库进行数据存储。...随着 vivo 服务业务发展,服务用户量增长迅速,存储在云端数据量越来越大,海量数据给后端存储带来了巨大挑战。服务业务这几年最大痛点,就是如何解决用户海量数据存储问题。...二、面临挑战 2017-2018年,服务产品核心指标着重于提升用户量。服务在产品策略上做了重大调整,用户登录 vivo 账号后默认开启服务数据同步开关。...至此,服务将分库分表 4 板斧全部实践了一遍,数据该拆拆,该分分。...最终线上联系人数据库进行数据压缩效果如下: 六、写在最后 本文介绍了服务随着业务发展,海量数据存储所带来挑战,以及服务在分库分表、数据库数据压缩上一些经验,希望能提供借鉴意义。

1.9K00

vivo x TiDB丨解决服务海量数据挑战

随着 vivo 业务发展,用户量增长迅速,存储在云端数据量越来越大,海量数据给后端存储和数据库带来了巨大挑战。服务业务最大痛点,就是如何解决用户海量数据存储问题 。...详细介绍了 vivo 采用 TiDB 过程中真实体验,包括海量数据实时 OLAP 方案、服务业务中元数据管理方案,和基于自研 NoSQL 数据库 TiKV 实践。...vivo 数据库与存储体系 图片 vivo 数据库与存储体系产品矩阵 在整个 vivo 服务体系中,数据库与存储处于核心位置,从体系上可以分为两层,最上面一层是工具产品层...服务业务基于 TiDB 海量元数据管理方案 图片 vivo 服务vivo 为用户提供在手机上进行数据备份、数据恢复同步一款服务。...未来,vivo 还将持续在内部混合云中云化 TiDB 产品,将 TiDB 全生命周期各个能力,在 vivo 内部上实现出来,支持更多业务场景。

62130
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    vivo 手机服务建设之路-平台产品系列04

    作者:vivo 互联网平台产品研发团队 - He Zhichuang、Han Lei手机服务目前作为每家手机厂商必备一项基础服务,其服务能力和服务质量对用户来说可以说是非常重要。...用户将自己大量信息数据存储在云端,那我们云端服务如何保证服务稳定和数据安全,以及如何应对越来越多用户群体使用?本文将主要介绍 vivo 手机服务系统建设历程。...如上所述,服务在建设过程中可以说是困难重重,那么vivo服务在建设过程中,又是如何兼顾产品功能、资源成本、服务稳定性、数据安全等等诸多因素而进行设计?且听后文细细分解。...在vivo服务中,除了诸如联系人、短信等数据类型内容备份恢复能力之外,文件类型云端存储能力,即能力同样重要。...在vivo服务存储逻辑中,用户图片、视频、音频等文件目前均存储在对象存储服务中。

    1.7K40

    vivo 服务端监控体系建设实践

    作者:vivo 互联网服务器团队- Chen Ningning本文根据“2022 vivo开发者大会"现场演讲内容整理而成。...经过几年平台建设,vivo监控平台产品矩阵日趋完善,在vivo终端庞大用户群体下,承载业务运行服务数量众多,监控服务体系是业务可用性保障重要一环,监控产品全场景覆盖生产环境各个环节。...同时从可观测性、AIOps、原生等方向,监控平台也进行了建设实践。未来vivo监控平台将会向着全场景、一站式、全链路、智能化方向不断探索前行。监控服务平台是自研、覆盖全场景可用性保障系统。...经过多年深耕,vivo监控团队已经成体系构筑起一整套稳定性保障系统,随着原生可观测技术变革不断深化,监控团队如何掌舵前行?下面就平台建设历程、思考、探索,做一下简单介绍。...4.6 能力服务化目前监控有很多服务,在公司构建混合平台大背景下,监控系统服务应该具备以能力化方式提供出去。

    1.2K50

    vivo 短视频推荐去重服务设计实践

    一、概述 1.1 业务背景 vivo短视频在视频推荐时需要对用户已经看过视频进行过滤去重,避免给用户重复推荐同一个视频影响体验。...第三,服务端和算法当前直接通过Redis交互,我们希望构建统一去重服务,算法调用该服务来实现过滤已看视频,而服务端基于Java技术栈,算法基于C++技术栈,那么需要在Java技术栈中提供服务给C++技术栈调用...3.1 整体流程 统一去重服务整体流程及其与上下游之间交互如图3所示。...服务端在下发视频时候,将当次下发记录通过统一去重服务Dubbo接口保存到Redis下发记录对应Key下,使用Dubbo接口可以确保立即将下发记录写入。...作者:vivo互联网服务器团队-Zhang Wei

    1.3K30

    vivo 原生容器探索和落地实践 | Q推荐

    Pivotal 最新官网对原生介绍有四个要点,分别是:DevOps、持续交付、微服务和容器。...1)在降本方面 当前我们内部服务器资源利用率较低,以 CPU 利用率为例,当前 vivo 服务器整体利用率均值在 25% 左右,相比行业一流水平 40%~50%,还有不少提升空间。...容器快速交付、弹性自运维、微服务服务网格等原生技术和架构,则是提效有力措施。...API 之上是容器支持各种服务类型,包括在线服务、中间件服务、大数据计算、算法训练、实时计算等,最上面是为 vivo 互联网各个业务进行赋能。...互联网在线服务:内部各个业务线均有大量服务运行在容器上,例如 vivo 商城、账号、浏览器、快应用、天气等,已经接入服务 600+。

    60610

    vivo AI 计算平台原生自动化实践

    经过两年持续迭代,平台建设和落地取得了很大进展,成为 vivo AI 领域核心基础平台。...集群里同时运行着上千个 VTraining 训练任务和上百个 VServing 推理服务以及上百个在线服务项目。...本文主要分享了 VContainer 原生相关基础组件自动化实践,从半工具化人工维护,到白屏化流程实践和落地。...架构设计 按照设计思路,如下是我们自动化设计简单架构图,AutoRke 自动化平台是我们建设目标,底层操作 k8s、calico 和 docker 等原生基础组件变更,上层对接 vivo 基础平台完成同步数据和流程控制等功能...后续计划 自动化初期实现了原生基础组件日常运维管理工作白屏化功能,提高了工作效率,降低操作风险,一定程度上提高了基础组件稳定性。

    1.2K20

    vivo web service:亿万级规模web服务引擎架构

    vivo手机平台web服务引擎,该服务引擎从浏览器产品线中经过多年迭代而出。...除了提供可靠基础Web服务服务引擎还集成了非常强大扩展功能。本文从架构方面对该服务引擎进行一次简单剖析,帮助读者对vivo web service有一个整体了解。 1....更进一步,在奇点内核基础上我们将浏览器和部门其他技术资源整合起来,构建了一个围绕奇点内核服务平台,我们称为vivo web service。...3.vivo web service架构 在vivo手机平台上,各个应用使用web service架构示意图,图中展示了各应用通过sdk可以获取到web service各种服务。...依托于vivo强大手机平台优势,web service会有更大想象空间。 平台应用使用vivo web service示意图

    1.1K40

    vivo服务端监控架构设计与实践

    如何对这些业务和服务器进行监控和维护是我们开发人员和运维人员不可忽视重要一环,这篇文章全篇大约5000多字,我将对vivo服务端监控原理和架构演进之路做一次系统性整理,以便大家做监控技术选型时参考。...vivo服务端监控旨在为服务端应用提供包括系统监控、JVM监控以及自定义业务指标监控在内一站式数据监控,并配套实时、多维度、多渠道告警服务,帮助用户及时掌握应用多方面状态,事前及时预警发现故障,事后提供详实数据用于追查定位问题...目前vivo服务端监控累计接入业务方数量达到200+,本文介绍服务端监控,我司还有其他类型优秀监控包括通用监控、调用链监控和客户端监控等。...2)机房:机房监控需求应用设备将监控数据上报至机房本地RabbitMQ,机房RabbitMQ将指定队列通过路由方式转发至自建机房ARabbitMQ,机房监控配置通过CDN拉取。...作者:vivo互联网服务器团队-Deng Haibo

    1.2K30

    vivo 服务器开发工程师面试题

    最近熊哥一个有大厂开发经验朋友去面试 vivo 服务器开发工程师(C++) 岗位。 熊哥分享一下该岗位一面的算法题,供大家参考,希望对大家有所帮助。...反转链表 给定一个单链表头结点 pHead,长度为 n,反转该链表后,返回新链表表头。 数据范围:n ≤ 1000。 要求:空间复杂度 O(1),时间复杂度 O(n)。...迭代法操作步骤如下: 定义两个指针 pre/cur,指向当前节点后一节点和当前节点,分别用于记录新链表头节点和遍历整个链表。...next 指针指向 cur 后面的子链表 如上图示,如果不定义 next 指针,当 cur 指向节点反转时,断开了 1->2 之间连接,后续无法再找到子链表 2->3->null,当然也就无法实现该子链表反转...,遇到熟悉算法题,也不要太兴奋以至于写得飞快。

    62420

    12月16日vivo开发者大会:揭秘 vivo 互联网服务亿级用户技术架构演进之路

    PART TWO vivo 开发者大会主题  本次大会以“从1到正无穷”为主题,vivo将带着新理念与能力诚邀各位一起探讨无尽想象科技未来。...大会共开设1个主会场和6个专场: 主会场 商业合作专场 游戏生态专场 应用与服务专场 IoT开放生态专场 互联网技术专场 安全专场 PART THREE 【互联网技术专场】日程 本次【互联网技术专场】以...“基础架构”、“效能提升”为主题,揭秘 vivo 互联网服务亿级用户技术架构演进之路。...效能提升 对于互联网软件项目,当需求确认之后,各团队比拼就是需求转化和服务能力,这其中研发效能高低对于需求转化速率起到了至关重要作用。本专场主题演讲也将从前后端分享效能提升方面的经验。...腾源会是腾讯成立汇聚开源项目、开源爱好者、开源领导者开放社区,致力于帮助开源项目健康成长、开源爱好者能交流协助、开源领导者能发挥领袖价值,让全球开源生态变得更加繁荣。

    74150

    折叠屏,vivo高端打手?

    在过去几年来,vivo高端机在许多消费者眼中一直是高价低配存在,对于想要冲击高端市场vivo来说显然不利。为了重新树立高端产品正面形象,vivo也做出了不少尝试。...由此看来,入局折叠屏并不是vivo随大流“面子”项目,其暗含着vivo想要突击高端市场深层意味,短期内vivo对折叠屏热情可能会只增不减。...但还有一点不能忽视,作为入局最晚国产机玩家,vivo失去了先发优势,只能试图在产品服务方面通过多种体验上创新,来获得差异化竞争优势,从而在折叠屏市场占据一席之地。...在服务体验上,与微信深度合作,为vivo X Fold带来了平板模式登录,可一个账号在两台手机上同时使用,且还给购买vivo折叠屏产品用户提供专属服务。...看来,在手机界新品发布初期比较火爆定律,并不适用于vivo折叠屏手机。究其原因,Vivo X Fold首战成绩不佳或与vivo固有定位产生偏差有很大关系。

    49930

    都说vivo营销强,但你知道vivo营销究竟强在哪里吗?

    因此,vivo营销配合发生了变化,这次赞助FIFA就是为它新战略方向:海外市场服务。 世界杯是世界上最顶级体育盛事之一,vivo与FIFA合作有利于它在未来六年国际化战略。...vivo手机营销你学不会? 前几年有本书很火,《海底捞你学不会》,讲述海底捞是如何将服务做到极致进而成为服务业标杆,科技行业趋之若鹜地学习。...每个手机公司都要结合自身特点来建立一套类似的体系,直接复制vivo做法没有意义。不过,vivo营销理念在行业却是共通。 第一,vivo对不同营销方式开放态度,是许多厂商欠缺。...第二,vivo将营销当做手段而不是目的理念,是许多厂商欠缺vivo理念中,营销只是手段,目的是与消费者保持紧密沟通。因此,vivo营销方式都与目标消费者沟通习惯有关。...同时,vivo营销与产品卖点、渠道布局紧密结合,最终为公司战略服务。然而有一些手机厂商却本末倒置,将营销当成了目的,这往往会出现营销做得好,发布会关注度高,销量却上不去尴尬结局。

    2.7K40

    自我救赎面试经历——vivo

    vivo 6月底,一个猎头电话开启了这一个月面试历程,这位猎头看到了我2017年3月找工作时候简历,然后觉得我挺合适vivo目前在招岗位,所以将我推荐了过去。...给大家看看我简历其中一个项目工作介绍。 ? vivo面试都完美的错开了我工作时间,他们工作时间可真是「特殊」。...因为我有表露出我学习过AI方面,而且正好我如果加入VIVO也是AI对接应用。...她问,实际上vivo工程师,大多话很少,大家做好自己事就好,就是螺丝钉。我性格和活力,更适合创业公司。如果来vivo,我会觉得反差很大。 我当时实际上没想好这个问题。...面试下来,我对vivo印象是: 稳定,但过于规范。

    2.9K30

    服务是免费吗_服务器收费

    近年来,服务普及率快速上升,相当一部分企业从传统服务器转向服务器,而随着市场发展,服务器供应商尤其多,服务器供应商竞争日趋激烈。...此时不少服务商表示自己推出永久免费使用服务器,面对这样消息不少企业会感到疑惑,永久免费使用服务器究竟是否可信?那么下面就由摩杜小杜和大家讲一讲有没有永久免费服务器。...一、首先市场上根本就没有所谓永久免费使用服务器 虽然现如今技术发展快速,但是资源成本还是很高,所以商家为了自己获益,不可能会提供免费主机租用服务。...但是目前市场上有服务商提供服务免费试用,或者推出一系列免费使用活动,但是活动中服务器也是有时长限制,比如摩杜推出限时秒杀特惠活动,1核2G1M服务器,一年仅需99元,同时还有更多云产品特惠...二、服务器是技术门槛很高领域 而且也是有带宽和IP成本,并且需要十分大资金投入,不是一般企业就能做,所以市场上那些说免费服务器是不可能,如果他们服务器是永久免费,也会增加你在其他方面的成本

    37.3K20

    疫情之下看vivo和腾讯直播如何合作举办线上年会

    本文根据vivo使用腾讯产品实践总结而来,感谢团队同学 LiGuolin 主笔贡献。...flv格式播放 2.解决方案 针对上述问题,我们咨询了公司内部相关直播专家和腾讯相关技术专家,我们制定了公司内部直播相关解决方案 1....开通腾讯直播海外加速,海外回国内直播服务源站走物理专线,保障链路质量。 4....总结 ​ 之前举办内部大型年会,由于办公网出口带宽限制等问题,出现过播放卡顿或者失败情况,这次活动开始之前向腾讯提出直播护航需求后,腾讯工程师和vivo技术团队一起基于行业内经验制定解决方案,...vivo技术团队用自己专业技术能力最终将整个方案平稳落地。

    8.5K439

    PingCAP Clinic 服务:贯穿 TiDB 集群诊断服务

    、运维最佳实践以诊断服务方式提供给本地部署集群,使所有的下用户也从中受益。...Try TiDB Cloud 适用于中国出海企业和开发者 下载 TiDB 社区版 咨询 TiDB 企业版 Clinic 助力下本地部署集群问题诊断 Clinic 诊断服务在 TiDB Cloud 上为小吴带来了巨大帮助...我们需要在 TiDB Cloud 中做更多数据训练,当分析模型准确度和计算成本都达到一定标准后,即会对集群开放。...Clinic 未来 Clinic 服务发布,代表 PingCAP 会在保证数据库健康运行方面持续地投入,Clinic 最终愿景是通过 TiDB Cloud 技术积淀,整体提升下 TiDB...Clinic 服务后续发展方向主要集中在这几点: 下兼顾:Clinic 服务始终坚持在上做技术沉淀,将上积累经验通过诊断服务、运维服务方式提供给下集群 ,让所有部署类型集群都受益。

    91330

    vivo鲁班RocketMQ平台消息灰度方案

    当业务系统进行灰度发布时,Dubbo与HTTP调用可以基于业界通用灰度方式在我们服务治理与网关平台来实现,但MQ已有的灰度方案都不能完全解决消息隔离与切换衔接问题,为此,我们在鲁班MQ平台(包含根因分析...三、业界MQ灰度方案 [图片] (图3.1  灰度调用示意图) 通常,业务灰度只严格地保证RPC服务之间调用,部分消息灰度流量流失或错误是可以容忍,如图3-1所示,V_BFF产生灰度消息会被V_TRADE...正常版本与灰度版本收到并随机消费,导致部分灰度流量没有进入期望环境,但整体RPC服务调用还是隔离了灰度与非灰度环境。...当业务对消息消费逻辑进行了更改,或者不想让灰度消息影响线上数据时,MQ灰度就必须要实现。 由于订阅关系限制,当前业界实现MQ灰度方案都是正常版本与灰度版本使用不同GroupID来实现。...作者:vivo流程IT团队-Ou Erli、Xiong Huanxin

    1.8K20

    Kafka 负载均衡在 vivo 落地实践

    vivo 互联网服务器团队-You Shuo副本迁移是Kafka最高频操作,对于一个拥有几十万个副本集群,通过人工去完成副本迁移是一件很困难事情。...Cruise Control作为Kafka运维工具,它包含了Kafka 服务上下线、集群内负载均衡、副本扩缩容、副本缺失修复以及节点降级等功能。...无论是生产者还是消费者,Kafka 客户端内部已经帮我们做了负载均衡了,那我们还有讨论负载均衡必要吗?答案是肯定,因为Kafka负载不均主要问题存在于服务端而不是客户端。...二、 Kafka 服务端为什么要做负载均衡我们先来看一下Kafka集群流量分布(图1)以及新上线机器后集群流量分布(图2):图片图片从图1可以看出资源组内各broker流量分布并不是很均衡,而且由于部分...以topic分区leader副本这类资源为例:服务端在接收到均衡请求后,Monitor会先根据缓存集群指标数据构建一个能够描述整个集群负载分布模型。

    81920
    领券