腾讯云迁云技术团队专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

腾讯云迁云技术团队专栏

专业上云、迁云解决方案沉淀和分享

专栏成员

26

文章

238844

阅读量

98

订阅数

【Elasticsearch系列之八】通过reindex迁移ES数据

Elasticsearch Service

reindex 是 ES 提供的一个 api 接口，可以把数据从源 ES 集群导入到当前 ES 集群，实现集群内部或跨集群同步数据。

2020-04-27

9.9K0

【Elasticsearch系列之七】通过elasticdump迁移ES数据

Elasticsearch Service

适合数据量不大，迁移索引个数不多的场景（索引的分片数量和副本数量需要对每个索引单独进行迁移，或者直接在目标集群提前将索引创建完成，再迁移数据），支持：analyzer/Mapping/data的迁移操作。

2020-04-27

5.5K0

【Elasticsearch系列之六】通过logstash迁移ES数据

Elasticsearch Service

数据体量不大，需要在线数据同步的场景（实际使用的是scroll，是执行瞬间的es快照，近实时的数据同步）。

2020-04-22

12.7K1

【Elasticsearch系列之四】腾讯云ES数据基本操作

Elasticsearch Service

注意：本教程提供的示例代码仅适用于腾讯云Elasticsearch 7.x版本，不确定是否适用于其他版本，其他版本的示例代码请参见官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docs-index_.html

2020-04-21

1.7K0

【玩转腾讯云】如何构建云端高可用架构

系统架构架构设计云上实践

一、高可用的挑战 1、高可用挑战-要求 image.png 2、高可用挑战-各种不稳定的来源常见事故及问题归类如下： image.png 二、互联网通用架构和分层典型互联网架构分层设计如下： image.png 系统正交分解如下：服务治理目标技术架构监控层外层客户端SLA 攻防/扫描/审计 CDN合理/稳定 DNS合理/稳定流量峰值 CDN DNSPOD/Ip直连高防客户端监控 CDN监控 DNSPOD监控安全监控接入层异地多活服务

2020-04-16

4K2

关注专栏作者，随时接收最新技术干货

腾讯云 | 高级解决方案架构师

腾讯云 | 架构师

【Elasticsearch系列之三】腾讯云ES云上安全优化

Elasticsearch Service

Elasticsearch本身是分布式多副本的，在此基础上腾讯云ES进一步提供高可用数据安全能力，您可以根据自身业务情况来选择相应的安全方案，具体如下：

2020-04-14

1.5K0

【Elasticsearch系列之二】ES数据存储可靠性和写入流程介绍

Elasticsearch Service

当一个文档写入Lucence后是存储在内存中的，即使执行了refresh操作仍然是在文件系统缓存中，如果此时服务器宕机，那么这部分数据将会丢失。为此ES增加了translog，当进行文档写操作时会先将文档写入Lucene，然后写入一份到translog，写入translog是落盘的(如果对可靠性要求不是很高，也可以设置异步落盘，可以提高性能，由配置index.translog.durability和index.translog.sync_interval控制)，这样就可以防止服务器宕机后数据的丢失。由于translog是追加写入，因此性能比较好。与传统的分布式系统不同，这里是先写入Lucene再写入translog，原因是写入Lucene可能会失败，为了减少写入失败回滚的复杂度，因此先写入Lucene。

2020-04-13

3K0

【Elasticsearch系列之五】通过snapshot迁移ES数据

Elasticsearch Service 云数据迁移数据迁移迁移学习

2) 需占用源集群磁盘空间，或者借助于对象存储，实现友商ES到腾讯云ES，或自建ES到腾讯云ES的数据迁移。

2020-04-09

7.7K0

【玩转腾讯云】通过COS快照从自建ES迁移至腾讯云最佳实践

Elasticsearch Service 云数据迁移数据迁移迁移学习云上实践

在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云Elasticsearch。

2020-04-08

3K0

【Elasticsearch系列之一】ES基本概念

Elasticsearch Service 云数据迁移数据迁移迁移学习

ES 是一个近实时的搜索平台，当一个文档写入Lucene后是不能被立即查询到的。Elasticsearch提供了一个refresh操作，会定时地调用lucene的reopen(新版本为openIfChanged)为内存中新写入的数据生成一个新的segment，此时被处理的文档均可以被检索到。refresh操作的时间间隔由refresh_interval参数控制，默认为1s, 可以在写入请求中带上refresh表示写入后立即refresh，另外还可以调用refresh API显式refresh，例如：

2020-04-07

2.9K0

【玩转腾讯云】通过Logstash从阿里云ES迁移至腾讯云最佳实践

Elasticsearch Service 迁移服务平台数据迁移迁移学习云上实践

Logstash是一个开源的数据收集引擎，具有近时传输数据的能力。它可以统一过滤来自不同源的数据，并按照我们自定义的配置文件将过滤的数据输出到目标数据源中。本文介绍在腾讯云CVM上部署Logstash的方法，并演示如何使用Logstash从阿里云ES迁移数据到腾讯云ES中。

2020-03-30

3.4K0

基于腾讯云CLS统计分析nginx的access.log

日志服务 Elasticsearch Service 运维网络流日志

很多个人站长在搭建网站时使用nginx作为服务器，为了了解网站的访问情况，一般有两种手段：

2020-03-12

1.5K0

通过terraform快速创建腾讯云基础资源

云服务器运维云数据库 MySQL 私有网络

Terraform是一个IT基础架构自动化编排工具，可以用代码来管理维护IT资源。它编写了描述云资源拓扑的配置文件中的基础结构，例如虚拟机、存储账户和网络接口。Terraform的命令行接口（Command Line Interface，CLI）提供一种简单机制，用于将配置文件部署到腾讯云或其他任意支持的云上，并对其进行版本控制。

2020-03-12

8.1K0

基于腾讯云的业务全球化部署

tcp/ip Anycast 公网加速

在国内人口红利逐渐消失，竞争严峻的情况下，越来越多的中国企业开始寻求新的增长点。印度、非洲、东南亚等国巨大的人口红利很有可能成为中国企业的新战场。截至2017年底，中国在非洲投资总额达到1000亿美元，几乎遍布非洲的每个国家，涵盖科技、地质勘察、房地产、金融、批发零售和农业等领域。伴随着业务出海，业务系统需要服务全球用户，这就涉及到了全球化部署。虽然互联网本身就是全球可访问的，但是受限于国家政策等因素的影响，可能导致用户访问受阻，而有些应用时性要求较高，如IM工具等，都需要就近访问。因此全球化部署的需求也就应运而生。本文包含如下几个方面的内容：

2020-02-12

6.1K1

在CentOS上使用strongSwan搭建IPsec V P N服务

客户业务在往腾讯云迁移的过程中，因为两边的数据需要同步，所以需要建立站点到站点的IPsec V**连接，由于某些公司没有V**设备或者其他云不支持V** Gateway产品的时候，就需要我们自己搭建IPsec V**服务。

2019-09-12

23.8K0

使用腾讯云云主机（CVM）分散置放群组实现业务高可用部署

云服务器云数据库 SQL Server 云数据库 Redis®

在业务系统上云的过程中，业务部署的高可用和容灾是一个要考虑的关键因素。如今很多系统都采用分布式的架构，从架构层面避免单点故障。分布式系统中，任意一个节点故障，其他节点可以快速接管业务，避免整个业务系统宕机。这就对IaaS层资源提出了要求，即单节点故障，不影响其他节点。由于公有云是一个多租户的环境，一台物理机上会运行多个虚拟机，如果分布式系统的多个虚拟机落到了同一台物理机上，当物理机发生故障时，多个分布式节点同时故障，就有可能造成整个系统宕机。那么在公有云的IaaS层，如何才能保证分布式系统部署的高可用呢？使用腾讯云的分散置放群组可以解决这个问题。

2019-06-14

10.6K0

基于腾讯云CVM构建MySQL MHA Keepalived集群

云数据库 SQL Server 数据库 sql tcp/ip 访问管理

MHA是由perl语言编写的一款开源的MySQL的高可用程序，为MySQL主从复制架构提供了automating master failover功能。MHA可以自动检测mysql是否宕机,如果宕机,在10-30s内完成new master的选举，应用所有差异的binlog日志到所有slave，将所有的slave切换到新的master上来。

2019-04-06

9.4K0

使用腾讯云容器服务（TKE）实现应用跨可用区高可用部署之一

容器服务容器云服务器

本文描述如何使用腾讯云容器服务（TKE）实现跨可用区的应用高可用部署，包含如下内容：

2019-03-22

15.6K2

使用腾讯云容器服务（TKE）实现应用跨可用区高可用部署之二

node.js 容器服务云数据库 Redis®

在上一篇文章中（使用腾讯云容器服务（TKE）实现应用跨可用区高可用部署之一），我们介绍了如何使用腾讯云容器服务的亲和性实现业务跨可用区高可用部署。通过控制台的简单操作，即可实现业务高可用部署。控制台上实现的亲和性和反亲和性是通过节点亲和性（nodeAffinity）来实现的。

2019-03-22

10.7K0

基于腾讯云CVM搭建Hadoop集群及数据迁移最佳实践

xml tcp/ip 单片机 hadoop 数据迁移

本文主要介绍如何在腾讯云CVM上搭建Hadoop集群，以及如何通过distcp工具将友商云Hadoop中的数据迁移到腾讯云自建Hadoop集群。

2019-03-22

14.3K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态