首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯上实践 SNG MINI 项目

这对整个团队来说是一件十分有挑战的事情,小组内只有两个人负责后台架构/开发,通过平台部提供给我的支持,我们在腾讯上搭建了一套相对简单但是功能基本符合需求的后台系统。...【产品】 一款利用 LBS 的失物招领 APP ,支持发布带有地理位置的失物招领信息、关键字匹配失物资讯推送失主。 【后台架构分析】 因为是在后台层面分析,我们主要在技术层面进行介绍。...(广州三区) 负载均衡:腾讯LB,基础网络。 数据库:储存 Mysql ,最低配,主/备异步复制。 消息缓存:存储 Redis ,主从,最低配。...说到 redis,腾讯的 redis 有个小坑,“它的密码不是它的密码”,仔细看使用示例之后你会发现,它的密码是“实例名称:密码”,还以为代码写的有问题,导致 redis 连接失败。...虽然我们的项目很小,但是对于正常中小型企业的项目,在腾讯上构建确实是省时省力,减小了不少运维成本,性能也不错,虽然都是低配服务器,但是压测结果还是很理想。

3.1K00

聊聊这个让腾讯数据的“静默损毁”

今早刚看到一则新闻,说是腾讯丢了某个客户的数据,原因是硬盘bug导致“写进去的数据读出来并不是之前写入的数据”,当然,不管具体是不是这个原因,详情如何,不做评论。...静默损毁大概有几种方式: parity error 每个扇区都会有ecc校验区,硬盘写入数据之前会计算ecc,并在读出数据之后自行校验。按理说这样应该不会静默损毁?不是的。...但是即便是有DIF,也无法保证从应用生成数据,到数据写入硬盘一整条路径上都不出错,有些厂商也在致力于从数据一生成的时候就时刻跟着校验,这个可以在应用层来透明的做。 2. paritial write。...这个现象是由于硬盘在写入数据时,只写了一部分扇区数据,而另一部分没有写入。硬盘一般会保证扇区粒度的原子写(【冬瓜哥论文】原子写,什么鬼?!)...这个现象是说硬盘本该写入某个扇区,但是最终根本没有写入,目标扇区数据依然是老数据。这个现象会导致静默损毁,导致应用读出了旧数据,或者其它应用之前保存的完全不相关的数据,直接现象肯能是乱码之类。

1.6K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【玩转腾讯事件驱动编程

    Observable 是一个事件操作封装类,继承该类的类被定义为一个可被观察的对象或者数据源,在完成当前业务的操作后可以根据需要把变更事件发布出去 Observer 是一个接口,实现该接口的类被定义为一个观察者...EventObject 事件类,不同的事件类型各自继承该类做定制化 EventListener 监听器接口,实现该接口的类被定义为事件监听器 但是这个版本只是引入了事件的概念,在编码层面并没有本质性的改善...,不阻塞事件发布者逻辑 @Subscribe注解,该注解作用于方法,将该方法连同宿主类封装成监听器,在事件发布后,事件主线从监听器容器中根据事件类型获取对应的监听器列表并执行逻辑 ?...七、总结 本篇介绍了事件驱动编程和几种常见的事件编程实现,对于设计和实现维度来说,guava的事件总线和spring事件驱动都比较成熟,功能比较完善,能够满足大部分业务场景,对于使用spring...简单总结一下,事件驱动有三个重要概念:事件事件发布者和事件监听者,事件驱动解决的是应用内部业务解耦,实现的时候注意要做异步化.

    2.2K181

    k8s watch 事件 - 1

    Kube-apiserver 提供了 Watch API 来支持实时接收资源对象变化的功能,也是 Informer 实现的基础,那么我们通过 Watch 或者 Informer 本地缓存拿到的数据是否真的和...Etcd 中的数据一致呢?...先说结论:k8s watch 可能是会事件的。将会介绍两种数据的场景,分为两篇来介绍,包括原理,当前是否已经修复等信息。 注意:这里说的是事件,而不是数据。...Reflector 收到后会退出当前 ListAndWatch 的执行,开始进行下一轮的 ListAndWatch 的调用,最终通过新一轮的 List 调用就可以避免这个问题,因为这时候 List 到的数据已经不包含被删除的对象了...下一篇将介绍另外一个造成事件的 case,仍然是和 Etcd 与 k8s 都有关系,至今仍然存在,尤其是如果使用了 v1.27 的版本的话,敬请期待~

    22910

    k8s watch 事件 - 3

    根因 先说结论,etcd watch 实现存在 bug,会导致客户端在使用 etcd client watch 时出现事件的现象。...存放着的 watcher 是监听数据无需回溯历史变更记录、倘若有新数据变更事件发生即可立即发起 watch 回调的监听器 unsynced:同样用于存储 watcher 监听器....存放着的 watch 是监听数据仍存在历史变更记录需要回溯,因此新数据变更事件发生时也无法立即发起回调的这部分监听器 victims:用于临时存放一部分 watch 回调事件....这样就解决了 kube-apiserver cache 因为 etcd 事件导致的问题,但那些 RV="" 的 watch 请求之间仍然共用一个 grpc stream,虽然不会事件了,但这种请求多了之后仍然存在...~ v1.27(不包括)的版本,k8s 侧兜底逻辑失效,存在事件的风险,但由于这些版本的 watch 请求不会穿透到 etcd,理论上事件发生的概率会非常低,可以忽略; 如果使用的是 v1.27 到

    11710

    购买腾讯服务器后,外网访问包,如何解决?

    背景 我们在购买腾讯服务器服务器CVM_主机_计算服务器_弹性服务器- 腾讯 (tencent.com)的时候,对于网络方面,一就是考虑带宽,二就是考虑服务器所在的地理位置与大部分用户访问服务器所在的位置...,根据下方指引查看即可,获取监控数据的途径有很多,选择适合自己的即可: 服务器 获取实例监控数据 - 操作指南 - 文档中心 - 腾讯 (tencent.com) [mc0cp2itra.png...地理位置问题 国内用户访问国内服务器场景 如果服务器在国内,用户也在国内,并且带宽没有超限,机器性能正常,但是有包情况,这个时候需要使用MTR工具进行异常包的测试信息收集...服务器 使用 MTR 分析网络延迟及包 - 故障处理 - 文档中心 - 腾讯 (tencent.com) 如果客户端到服务器端,MTR测试信息前三跳没有包,但是到服务器IP...服务器 国际链路时延 - 故障处理 - 文档中心 - 腾讯 (tencent.com)

    15.4K91

    Redis Cluster 会数据吗?

    Redis Cluster 不保证强一致性,在一些特殊场景,客户端即使收到了写入确认,还是可能数据的。 场景1:异步复制 ?...wait 命令可以增强这种场景的数据安全性。 wait 会阻塞当前 client 直到之前的写操作被指定数量的 slave 同步成功。 wait 可以提高数据的安全性,但并不保证强一致性。...小结 Redis Cluster 不保证强一致性,存在丢失数据的场景: 异步复制 在 master 写成功,但 slave 同步完成之前,master 宕机了,slave 变为 master,数据丢失。...wait 命令可以改为同步复制,但也无法完全保证数据,而且影响性能。...可以设置节点过期时间,减少 master 在分区期间接收的写入数量,降低数据丢失的损失。

    1.8K20

    数据库-腾讯数据

    数据库-腾讯数据库主要分为:数据库MySQL,数据库Redis,数据库MongoDB以及SQL Server 腾讯数据库地址 http://cloud.tencent.com/act/pro...数据库MySQL三年只需1400多元,平均一年不到500元,非常的优惠。还有其它各种类型的数据库都非常便宜 1、数据库MySQL高可用版: 双节点架构,自动容灾。...提供备份回档、监控、快速扩容、数据传输、安全审计、只读实例等运维全套 2、数据库Redis 采用主从节点架构,提供数据持久化和备份,亚毫秒级延迟,最高内存可支持4T,提供恢复,监控,按需升级等运维全套解决方案...3、数据库SQL Server 具有微软正版授权、即开即用、稳定可靠、安全运行、弹性扩缩容等特点,同时也具备高可用架构、数据安全保障和故障秒级恢复功能,对基于 Windows 架构的应用程序具有完美的支持...4、数据库MongoDB 适用于海量数据存储场景,支持三副本、集群,兼容DynamoDB 协议,提供备份,恢复,监控,权限管理等运维全套解决方案 1.jpg

    21.7K20

    腾讯数据

    1.领取或购买到腾讯关系型数据库,根据你需要的数据库类型进行新建就会进入购买页 2.刚购买的数据库都要进行初始化操作,就是点按钮选择你要的类型 3.对数据库进行管理,点击管理 4.忘记密码的可以在账号管理进行数据库密码重置...,然后就是将我们需要的数据库文件导入,在数据库管理中新增数据库,将SQL文件导入,根据文件大小和网络上传速度等待时间有长短 5.完成后可以通过登录按钮使用phpmyadmin查看数据内容 在 腾讯控制台...中,依次单击【产品】>【关系型数据库】>【MySQL】>【实例列表】,选择状态为运行中的目标实例,点击【登录】。...您现在已经通过 phpMyAdmin 成功连接到 MySQL 数据库,在此页面上您可以看到 MySQL 数据库的各种模式和对象,您可以开始创建表,进行数据插入和查询等操作。...当然你可以直接在phpmyadmin操作数据导入导出等操作 5.同账号下同区的服务器里面的项目需要访问数据,只需要将访问数据库的配置文件修改成内网地址,以及账号密码写对就可以了

    10.8K20

    腾讯数据库是什么?腾讯数据库怎么用?

    目前国内的网络技术已经相当发达了,各个公司和企业都开始使用数据库,国内的数据库有很多,较为出名的有腾讯数据库,您数据库对于企业来说是一种伟大的发明,因为能够帮助企业实现高效管理,促进企业的业务发展...,但是介于很多人对数据库不了解,所以下面为大家介绍腾讯数据库是什么?...腾讯数据库怎么用?...腾讯数据库是什么 腾讯数据库作为数据库的一种,是一种性能非常强,可靠性很强,安全性很高的数据托管服务,不仅能够为各大企业提供相应的数据托管服务,还可以帮助企业实现数据监控、备份回档等操作,且腾讯数据库操作较为简单...腾讯数据库怎么用 由于很多人都不知道腾讯数据库怎么用,所以这一部分为大家做相关介绍。 首先,用户需要领取或者购买腾讯数据库,并根据自己的数据类型进行选择。

    53.3K40

    腾讯数据迁移工具解决方案:阿里迁移到腾讯

    Agent代理模式会在源端KVM虚拟机操作系统内部安装,主要用来通过旁路拦截来捕获IO的来记录数据的变化块,并及时将增量块数据读取并传输至目标腾讯侧进行存储。...迁移到的目标腾讯,HyperMotion迁移产品也是面向于原生设计,所有目标腾讯的操作,通过底层API接口封装自动化调用腾讯接口实现资源调度,无需过多人为介入,简单易操作。...批量选择加入到HyperMotion迁移平台,需要同步的虚拟机,下一步 7.png 选择目标腾讯磁盘配置,同步网关就是前边添加目标平台是自动创建接收数据的代理,同步数据时只会产生块磁盘,不会有计算资源产生...8.png 指定目标腾讯并选择配置之后,就可以批量勾选来同步数据。 9.png 数据同步时会产生进度条,来展示数据拷贝的相关信息及预计剩余的时间。...虚拟机数据同步完成后,就可以批量勾选启动主机 10.png 填写在目标腾讯启动迁移主机时所需要的计算网络等相关配置。 11.png 迁移到腾讯成功机器会显示腾讯主机的相关信息。

    10.2K20

    腾讯数据迁移工具解决方案:华为迁移到腾讯

    Agent代理模式会在源端KVM虚拟机操作系统内部安装,主要用来通过旁路拦截来捕获IO的来记录数据的变化块,并及时将增量块数据读取并传输至目标腾讯侧进行存储。...迁移到的目标腾讯,HyperMotion迁移产品也是面向于原生设计,所有目标腾讯的操作,通过底层API接口封装自动化调用腾讯接口实现资源调度,无需过多人为介入,简单易操作。...批量选择加入到HyperMotion迁移平台,需要同步的虚拟机,下一步 7.png 选择目标腾讯磁盘配置,同步网关就是前边添加目标平台是自动创建接收数据的代理,同步数据时只会产生块磁盘,不会有计算资源产生...8.png 指定目标腾讯并选择配置之后,就可以批量勾选来同步数据。 9.png 数据同步时会产生进度条,来展示数据拷贝的相关信息及预计剩余的时间。...虚拟机数据同步完成后,就可以批量勾选启动主机 10.png 填写在目标腾讯启动迁移主机时所需要的计算网络等相关配置。 11.png 迁移到腾讯成功机器会显示腾讯主机的相关信息。

    9.7K20

    腾讯数据技术介绍- HDFS

    数据问题背景 大数据虽然是一个比较宽泛的词,但对于我们来说其实可以简单理解为“海量数据的存储与处理”。...之所以人们专门大数据这个课题,是因为海量数据的处理和较小量级数据的处理是不一样的,例如我们对一个mysql表中的数据进行查询,如果是100条数据,那对于mysql来说毫无压力,但如果是从十亿条数据里面定位到一条呢...接下来要介绍的这些腾讯数据组件就是在这一个问题背景下一个个诞生的。...腾讯解决方案 HDFS 这里腾讯也有相关的大数据存储的组件 HDFS HDFS(Cloud HDFS,CHDFS)为您提供标准 HDFS 访问协议,您无需更改现有代码,即可使用高可用、高可靠...最后 现在一般的企业都不会自己搭建自己的大数据系统了,一般都是采用服务,无论你是通过腾讯或者是阿里,都可以快速的搭建自己的大数据系统。 我也不建议自己搭建和维护。 see you !

    4.8K120

    网络包故障定位全景指南

    arp_filter配置包 在多接口系统里面(比如腾讯的弹性网卡场景),这些接口都可以回应arp请求,导致对端有可能学到不同的mac地址,后续报文发送可能由于mac地址和接收报文接口mac地址不一样而导致包...基于包的拥塞控制算法以Reno、NewReno为代表,它的主要问题有Buffer bloat和长肥管道两种,基于包的协议拥塞控制机制是被动式的,其依据网络中的事件来做网络拥塞判断。...在BBR提出之前,拥塞控制都是基于事件的算法,需要通过包或延时事件驱动;BBR提出之后,拥塞控制是基于反馈的自主自动控制算法,对于速率的控制是由算法决定,而不由网络事件决定,BBR算法的核心是找到最大带宽.../man-pages/tshark.html 总结 本文只是分析大部分可能会包节点,提供了单个节点包排查和相关的解决方案, 包问题牵扯网络链路各个组件,尤其是在网络时代,网络拓扑复杂多变,涉及运营商网络...,也可以找到包位置,后续会更加深入介绍计算时代,上网络包排查方法,网络架构解析等,达到任何包问题都可以快速排查和定位解决,帮助客户快速恢复业务,下期再会。

    5.3K40

    腾讯偷袭腾讯

    01张祖优接电话.jpg “腾讯上面存放着大量的重要数据,一旦失守,后果不堪设想。” Fooying深知自己团队背负的使命,不敢掉以轻心。...随着腾讯的快速发展,越来越多的企业入驻腾讯,不少黑客也将攻击的目标转移到了上。国内外因为被黑客攻击导致的删库、数据泄露、病毒勒索的公司比比皆是。腾讯云安全的重要性可想而知。...多少个夜里,接到威胁情报的他从被窝中爬起,处理一个又一个的应急事件。 但是,这些还远远不够。 “任何系统都没有100%的安全,只有还没发现的漏洞。...“腾讯庞大的数据资产和复杂的业务架构,一时竟无从下手。”蓝军花了大量的时间调研资产、梳理业务逻辑、分析风险点,总算摸排得七七八八。...另一边,红军在Rud的带领下梳理数据资产、验证安全策略和安全加固。

    113.6K30

    腾讯数据库审计

    腾讯MySQL数据库暂不支持开启general_log参数,会影响数据库性能,导致业务请求延迟响应增大。...想达到相同的效果,腾讯提供了数据库审计功能,在需要审计日志前开启数据库审计功能但请注意,该产品是按照日志存储量进行按量计费,每小时为一个计费周期,不足一小时的按一小时计费。...支持版本数据库 MySQL 数据库审计目前支持的版本为 MySQL 5.6 20180101及以上版本、MySQL 5.7 20190429及以上版本、MySQL 8.0 20210330及以上版本的双节点和三节点...TDSQL-C MySQL 版数据库审计目前支持的兼容版本为 MySQL 5.7、8.0。...优势具体产品的优势,腾讯官方平台也做了详细的介绍,我这里三个词概括一下就是:可靠,高效,安全。

    10720
    领券