nexus是一个强大的maven仓库管理器,作用是代理远程仓库及部署第三方构件,它极大的简化了本地内部仓库的维护和外部仓库的访问。nexus是一套开箱即用的系统不需要数据库,它使用文件系统加Lucene来组织数据
Kubernetes 集群备份一直是我们的痛点。虽然可以通过Etcd v3备份与恢复来实现K8S集群备份,但是这种备份很难恢复单个 Namespace。
前段时间在GitHub[1]上发现了一个Ansible巡检服务的Roles, 今天给大家分享一下!
InnoDB的已提交读和可重复读的底层实现原理:MVCC(多版本并发控制),MVCC提供了一种并发的读取方式,即快照读 ,同一份数据会有多个版本
一个大型的软件应用通常包含多个模块,并且通常的场景是多个团队开发同一应用的不同模块。举个例子,设想一个团队开发应用的前端,项目为app-ui(app-ui.jar:1.0),而另一个团队开发应用的后台,使用的项目是data-service(data-service.jar:1.0)。
提供静态网站托管服务的厂商还是很多的, 上次这个博客还是在阿里云的OSS上面, 虽然oss很便宜但还是没有一种”永久使用权”的归属感, 于是我遇到了Github Pages:
好久没有写博客了,这段时间遇到了很多问题都没有记录下来 今天刚好上线了一个小活动,期间遇到一些比较折腾的问题,撑着有时间记录一下
避免因不正确使用内存 & 缺乏管理,从而出现 内存泄露(ML)、内存溢出(OOM)、内存空间占用过大 等问题,最终导致应用程序崩溃(Crash)
客户:小 D 啊,SOS!昨天我们给一台 MD 存储进行硬盘扩容,不知道哪一步出了问题,服务器识别不到存储的数据卷了!这些数据千万不能丢啊,里面存放了近几年的设计图纸,整个设计部现在都要快瘫痪了!
RAID阵列概述 廉价冗余磁盘阵列 – Redundant Arrays of Inexpensive Disks – 通过硬件/软件技术,将多个较小/低速的磁盘整合成一 个大磁盘 – 阵列的价值:提升I/O效率、硬件级别的数据冗余 – 不同RAID级别的功能、特性各不相同 RAID 0,条带模式 – 同一个文档分散存放在不同磁盘 – 并行写入以提高效率 RAID 1,镜像模式 – 一个文档复制成多份,分别写入不同磁盘 – 多份拷贝提高可靠性,效率无提升 RAID5,高性价比模式 – 相当于RAID0
(1)Git是一个开源(Linus Torvalds 为了帮助管理 Linux 内核开发而开发)的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目,与常用的版本控制工具 CVS, SVN等不同,它采用了分布式版本库的方式,不必服务器端软件支持。
在实际生产环境,RDB 和 AOF 一定都要打开,RDB 和 AOF 的配置需要根据业务的数据量决定
上一篇文章介绍了如何通过java api对iceberg进行操作。这次我们来聊聊iceberg里的存储文件。
BootStarp基本模版 <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="wi
回滚日志,用于记录数据被修改前的信息 , 作用包含两个 : 提供回滚(保证事务的原子性) 和MVCC(多版本并发控制) 。
概述 jvm中除了程序计数器,其他的区域都有可能会发生内存溢出 内存溢出是什么? 当程序需要申请内存的时候,由于没有足够的内存,此时就会抛出OutOfMemoryError,这就是内存溢出 内存溢出和内存泄漏有什么区别? 内存泄漏是由于使用不当,把一部分内存“丢掉了”,导致这部分内存不可用。 当在堆中创建了对象,后来没有使用这个对象了,又没有把整个对象的相关引用设为null。此时垃圾收集器会认为这个对象是需要的,就不会清理这部分内存。这就会导致这部分内存不可用。 所以内存泄漏会导致可用的内存减少,进而会
腾讯云服务器目前提供免费的网站快照,这点相对于国内同行来说也是腾讯云的一个亮点。毕竟今时今日云服务器上面免费的东西不多了,人家也是真金白银运营的服务器。相对于阿里云从 2017 年开始对快照收费,腾讯云这点差异化做的还是很不错的。正好魏艾斯博客有个站要重做系统,我也是第一次操作,所以把腾讯云快照创建过程记录一下,对以后有参考意义。 什么是腾讯云快照?快照是腾讯云提供的一种数据备份方式,通过对指定云硬盘进行完全可用的拷贝,通过冗余备份的方式存放在云硬盘以外的空间,可用于恢复云硬盘数据。老魏理解的快照和我们用
每个文件都是由一个一个的Block组成(Block默认大小128M),例如一个300M的文件会被保存成3个Block,而一个3K的文件也统一会占用一个Block,只不过这个Block只会占用3K
腾讯云服务器目前提供免费的网站快照,这点相对于国内同行来说也是腾讯云的一个亮点。毕竟今时今日云服务器上面免费的东西不多了,人家也是真金白银运营的服务器。相对于阿里云从 2017 年开始对快照收费,腾讯云这点差异化做的还是很不错的。正好魏艾斯博客有个站要重做系统,我也是第一次操作,所以把腾讯云快照创建过程记录一下,对以后有参考意义。
这个再怎么强调都不为过,很多新手用户完全不重视,每次都是出了问题再来后悔莫及,所以定期备份自己的网站目录和数据库到自己的本地电脑或者是网盘里面存放。
原因:redis是存放在内存中的,断电会导致数据丢失 解决方法:把redis数据进行持久性存储,将其存储在磁盘中。
HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中,存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上,需要NameNode节点来对这些数据进行管理,存储这些block的结点称为DataNode,NameNode是用来管理这些元数据的。
etcd 是一款开源的分布式一致性键值存储,由 CoreOS 公司进行维护,详细的介绍请参考官方文档。
Which three are true about the Automatic Workload Repository (AWR)? A)AWR data is stored in the SYST
云硬盘其实不是特别新鲜的事物,它出现时间并不算特别短,而数据库的概念大家应该是比较熟悉的了。但朋友一些朋友会弄混淆两者之间的关系,那么今天就为大家解答一下这个问题,数据库与云硬盘的区别是什么?请看下文介绍。
消息报表主要用于统计消息任务的下发情况。比如,单条推送消息下发APP用户总量有多少,成功推送到手机的数量有多少,又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表,我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。
ELK 本地集群只保留一个月的数据,一个月之前数据要迁移到云上进行备份,生产环境需要使用AWS S3进行对接,这里先使用腾讯云COS进行测试。。。
概述 集群和分布式都是从集中式进化而来的。分布式和集群会相互合作的,同时的集群和分布式。在这里重点说说集群 集群是什么? 集群能提高单位时间内处理的任务数量,提升服务器性能 有多台服务器去处理任务,
本文是 100+前端几何学应用案例 专栏的第三篇文章, 在第一篇文章 几何学在前端边界计算中的应用和原理分析 和第二篇文章 前端图形学实战: 从零开发几何画板(vue3 + vite版) 中我介绍了几何学在前端领域的应用以及如何从零开发一个几何画板:
在Linux中rm -rf的威力是十分巨大的,特别是附带了 -f 参数,不少新手都干过用root用户执行 rm -rf /命令这种傻事,如果云服务器没有快照,简直就是灾难,从根目录开始所有文件被递归删除,连系统都被损坏。
现在随着虚拟化技术的成熟,很多企业也在运用虚拟化技术。虚拟化技术的原理是将硬件虚拟化给不同的虚拟机使用。简单的说也就是一台物理的机器上可以有多台虚拟机,但如果就物理机器出现故障或者存储服务器出现故障都会导致上层的虚拟机不可用,还有包括人为误操作等原因,这些都会导致虚拟机里面的重要数据丢失。今天北亚小编要为大家分享的是关于vmware虚拟化误操作的数据恢复案例。
先说集中式版本控制系统,版本库是集中存放在中央服务器的,而干活的时候,用的都是自己的电脑,所以要先从中央服务器取得最新的版本,然后开始干活,干完活了,再把自己的活推送给中央服务器。中央服务器就好比是一个图书馆,你要改一本书,必须先从图书馆借出来,然后回到家自己改,改完了,再放回图书馆。
如果redis,生成快照失败,那么就会接受数据,此时会返回给用户,持久化失败,此时可以进行如下的配置,禁用掉这个功能。
Github 认为,代码是现代文明的隐藏基石,也是全人类的共同遗产,而 GitHub Archive Program(GitHub 存档程序)的任务就是为后代保留开源软件。
AWS的S3, 阿里云的OSS, 腾讯云的COS, 都是常见的对象存储服务。对象存储服务面向非结构化数据,支持通过HTTP/HTTPS协议访问,支持存入文本、图片、视频等多种类型的数据。
restic是一个快速、高效、安全的备份程序。它支持三个主流操作系统(Linux、macOS、Windows),restic支持多种备份方式,可以将数据备份到本地、SFTP、AWS S3、Backblaze B2等。
作者:elvinpeng,腾讯 WXG 前端开发工程师 Node.js 使用的是 V8 引擎,会自动进行垃圾回收(Garbage Collection,GC),因而写代码的时候不需要像 C/C++ 一样手动分配、释放内存空间,方便不少,不过仍然需要注意内存的使用,避免造成内存泄漏(Memory Leak)。 内存泄漏往往非常隐蔽,例如下面这段代码你能看出来是哪儿里有问题吗? let theThing = null; let replaceThing = function() { const new
GitHub刚刚公布了一组照片,你的代码上周已经被打包运往北极保存。只要你2月2日以前贡献过的开源代码,现在都已经被埋在北极的冰雪之下,保存一千年。
一般的资源文件(考虑HTML应该用协商缓存,一般不会放在CDN上)都会存放在CDN上,那么,资源请求会直接访问CDN服务(图以阿里云为例)。
快照模块是 ES 备份、迁移数据的重要手段。ES 快照支持增量备份,支持多种类型的仓库存储。
3、从快照中恢复数据,注意:在源集群中全量备份数据,恢复的时候,会有索引冲突的现象
桌面虚拟化,或虚拟桌面基础架构(VDI),可以为IT部门带来诸多好处,包括更简单的系统管理,集中的安全性和数据保护。不过支撑VDI的存储环境需要仔细的规划,以避免VDI启动风暴的问题,即当大量的用户同时登录系统时所造成的系统反应非常缓慢。有许多方法可以解决这个问题,但最有效的方法是将数据巧妙的放置在固态硬盘(SSD)上。
1. JVM 是怎么创建对象的? 首先检查 class 文件是否加载; 然后选择内存的分配方式; 分配内存的过程采用 CAS 和 TLAB 来处理并发问题; 最后执行 init 方法初始化零值。 2. JVM 创建对象的时候怎么分配内存? 根据内存是否规整来决定用什么分配方式。内存规整用指针碰撞,内存不规整用空闲列表。堆内存是否规整取决于采用的垃圾回收方式是否会生成内存碎片,如果会,是否会对内存碎片进行整理。 3. 你知道指针碰撞和空闲列表分别是怎么去分配内存的吗? 指针碰撞就是 JVM 会维护一个指
Zookeeper作为TDBank系统的一个重要模块,我们运营它已经两年多。在使用过程中,我们也遇到了一些问题及走过很多弯路,本文主要对zookeeper运营经验进分享。 Zookeeper在TDBank中的使用场景 TDBank主要利用zookeeper实现配置管理、配置更新通知、节点主备容灾、节点心跳管理等。使用到的模块包括消息中间件Tube、流式处理平台storm、分拣中心TDSort及配置管理中心TDManager,各模块利用zookeeper的功能如下 Tube 我们利用zookeeper
Zookeeper作为TDBank系统的一个重要模块,我们运营它已经两年多。在使用过程中,我们也遇到了一些问题及走过很多弯路,本文主要对zookeeper运营经验进分享。 Zookeeper在TDBank中的使用场景 TDBank主要利用zookeeper实现配置管理、配置更新通知、节点主备容灾、节点心跳管理等。使用到的模块包括消息中间件Tube、流式处理平台storm、分拣中心TDSort及配置管理中心TDManager,各模块利用zookeeper的功能如下 Tube 我们利用zookeep
某年某月某日的一个下午,接收到监控服务器的一条告警短信:尊敬的运维工程师 XX,你好:“192.168.136.200”数据库服务器 CPU 异常,CPU 使用率 98.7%,请尽快处理。看到这个消息浑身一紧,赶紧掐灭手中的烟,跑回办公室。
前面我们已经实现了一个简单的 etcd operator,要实现 etcd 集群的完整运维,备份和恢复肯定也是必不可少的,本文主要和大家介绍如何编写一个用于 etcd 备份的 Operator。
据IDC发布的《数据时代2025》报告显示,全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB,平均每天约产生491EB数据。随着数据量的不断增长,数据存储成本成为企业IT预算的重要组成部分。例如1PB数据存储一年,全部放在高性能存储介质和全部放在低成本存储介质两者成本差距在一个量级以上。由于关键业务需高性能访问,因此不能简单的把所有数据存放在低速设备,企业需根据数据的访问频度,使用不同种类的存储介质获得最小化成本和最大化效率。因此,把数据存储在不同层级,并能够自动在层级间迁移数据的分层存储技术成为企业海量数据存储的首选。
问题导读 1.构建独立的图片服务器有什么优势? 2.使用云存储服务有哪些优势? 3.图片如何防盗链? 现在几乎任何一个网站、Web App以及移动APP等应用都需要有图片展示的功能,对于
print(“释放缓存之后,直接从rdd的依赖链重新读取”) print(join_result_rdd.count())
领取专属 10元无门槛券
手把手带您无忧上云