王亮的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

王亮的专栏

专栏成员

5

文章

14813

阅读量

24

订阅数

基于 OGG 的 Oracle 与 Hadoop 集群准实时同步介绍

数据库云数据库 SQL Server linux

本文阐述了从Oracle实时同步到Hadoop集群的架构实践，分析了如何实现高效、稳定、易维护的同步方案。通过在两个集群上部署OGG，利用Oracle GoldenGate技术实现数据的实时同步，并阐述了如何通过业务逻辑编排实现多个集群之间的数据同步。同时，本文还提供了同步后的数据治理方案，以保障数据的一致性和可用性。

2016-11-15

3.8K2

基于腾讯云大数据套件 TBDS 的 flume 异常问题排查过程

云数据库 SQL Server 数据库大数据

该文摘要总结：通过分析Flume的日志，发现Flume在MySQL异常关闭的情况下不断提交事务，导致进入无限循环的抛出异常状态。通过查询MySQL的超时配置和HiveServer的日志，发现flume与MySQL之间的断开并非长期无交互，且人为关闭MySQL服务导致连接中断。权宜之计可以在sink的代码中提交事务出异常时，修改下sink的状态为BACK.OFF，防止不断打印日志造成机器磁盘满影响其他服务。

2016-11-09

2.3K11

HBase跨版本数据迁移总结

hbase 数据库

某客户大数据测试场景为：Solr类似画像的数据查出用户标签——通过这些标签在HBase查询详细信息。以上测试功能以及性能。其中HBase的数据量为500G，Solr约5T。数据均需要从对方的集群人工

2016-09-30

2.8K6

腾讯云大数据套件Hermes-MR索引插件使用总结

hadoop 数据库大数据

该文介绍了大数据技术的基本概念、分类、应用场景和主要技术。重点介绍了Hadoop和Spark这两个大数据框架，以及它们在大数据处理中的应用。另外，还介绍了大数据处理中常见的问题和挑战。

2016-09-29

2.6K7

存储总量达 20T 的 MySQL 实例，如何完成迁移？

云数据库 SQL Server 数据库数据迁移

2016-09-28

3.3K17

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态