目标虚拟机, 右键 设置 选中 CD/DVD, 浏览 选中本地的 centOS 镜像
在示例表插入两条记录，按分区规则，记录分别落在p_2018和p_2019分区。 可见，该表包含了一个.frm文件和4个.ibd文件，每个分区对应一个.ibd文件：
在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。
在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。
本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入数仓。
我经常被问到这样一个问题：分区表有什么问题，为什么公司规范不让使用分区表呢？今天，我们就来聊聊分区表的使用行为，然后再一起回答这个问题。
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
首先弄清楚什么是元数据和表数据：元数据就是表的属性数据，表的名字，列信息，分区等标的属性信息，它是存放在RMDBS传统数据库中的（如，mysql）。表数据就是表中成千上万条数据了。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/X__Alone/article/details/80926688
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面Fayson介绍了《如何在CDH中安装和使用StreamSets》，通过StreamSets实现数据采集，在实际生产中需要实时捕获MySQL、Oracle等其他数据源的变化数据（简称CDC）将变化数据实时的写入大数据平台的Hive、HDFS、HBase、Solr、Elasti
lsblk查看发现根分区为非LVM类型，空间大小不是很大，由于业务数据增长，需要进行扩容
昨天在更新完文章《升级博客文章同步微博的插件：PHP正则提取Markdown的图片地址》后，博客突然无法访问了。
一个表单独存储为一个文件更容易管理，而且在你不需要这个表的时候，通过 drop table 命令，系统就会直接删除这个文件。而如果是放在共享表空间中，即使表删掉了，空间也是不会回收的。所以参数推荐为ON。
1、模拟/boot/分区损坏，整个boot分区下文件删掉,当然/boot/grub2/grub.cfg文件也会被删掉
Sqoop并不在这篇文章的范围内，拿出来说的原因是，公司数据研发部门是通过Sqoop将数据库数据导入到Hive中，其原理是将数据库数据导入到HDFS中临时存储， 然后在将文件导入到Hive中，最终删掉临时存储的文件。
最近这两天登陆服务器，发现用 wget 下载文件的时候提示“No space left on device”，而且连使用 tab 键进行补全时也会提示该错误。
Extend Volume Blocked by a Recovery Partition
该文介绍了如何安装和配置Ubuntu操作系统，包括分区、语言、驱动、软件安装、启动项和系统配置等方面的内容。此外，还介绍了如何安装和配置一些常用的开发工具，包括IDE（如JetBrains系列）、Markdown编辑器（如Gitbook）等。
最近在给一个物流系统做TiDB POC测试，这个系统是基于MySQL开发的，本次投入测试的业务数据大概10个库约900张表，最大单表6千多万行。
经常使用 MySQL 的话，会发现 MySQL 数据文件的磁盘空间一般会不停的增长，而且有时候删了数据或者插入一批数据的时候，磁盘空间有时候还会毫无变化。引发这个其妙现象的就是 MySQL 的表空间碎片。
公司购买了企业邮局给员工提供邮件服务，这样收发外部邮件都没有问题，但有个非常不好的地方，绝大多数邮件都是在内部互相之间转发的 ，结果就导致一个问题，不管这个邮件是不是发给内部的， 邮件都得到外部邮件服务器上转一圈，如果邮件小还好说，有时候数MB的附件，一发一收都得占不少网络资源，一直就想找个办法，能否让发往内部的邮件不需要外部邮件服务器中转，直接局域网内部就搞定了，外部邮件通过外部服务器收发呢？当然，基本上大部分邮件服务器都有这样的功能，但都或者庞大无比，或者价值不菲，当然，linux下有许多开源软件可以搞定，但公司还有许多软件需要运行在windows下，而且linux下的邮件服务器配置复杂啊。
首先我们下载vmware品牌的虚拟机 vmware在虚拟机里面的UI算还行的了 好看
12.x是一个比较不错的版本，稳定性和功能性都比较出色，各系统的支持版本也较新和全面，适合做教学和个人使用。
在各种各样的适用场所，MySQL会出现各种各样的问题，经过足足半年的长跑，我的数据库终于修复了Bug,可以重新使用了。数据库出问题，那可能是家常便饭了。经过这足足半年的煎熬，我决定在以后的日子里，记录下我在使用数据库时遇到的色彩缤纷的问题，以及这些问题的解决方法。由此，今天写了这篇博客。
在Linux 操作系统中，有一个系统软件包，它的功能类似于Windows里面的“添加/删除程序”，但是功能又比“添加/删除程序”强很多，它就是 Red Hat Package Manager(简称RPM)。此工具包最先是由Red Hat公司推出的，后来被其他Linux开发商所借用。由于它为Linux使用者省去了很多时间，所以被广泛应用于在Linux下安装、删除软件。下面就 给大家介绍一下它的具体使用方法。
当然，我不会那么傻傻地直接安装把原来的系统覆盖掉，浪费我千辛万苦激活的win8.1。。O(∩_∩)O~
近期重新安装品牌机的操作系统，其中有Thinkpad，有Dell等品牌笔记本与台式机， winpe安装win7时遇到格式化硬盘后安装系统的时候，经常会出现安装程序无法创建新的系统分区，也无法定位现有系统分区的提示，遇到过几次这样的问题，都按照下面的方法解决了！
外键的设计初衷是为了在数据库端保证对逻辑上相关联的表数据在操作上的一致性与完整性。
我们在数据库库设计的时候，可能会使用到外键约束这个属性，它是从数据库的层面对表之间的关系进行了约束，但是如果使用不正确，就可能带来一些隐患，例如Oracle中，我们熟知的某些场景下，如果外键无索引，就可能导致锁表，进而影响性能，任何一个特性，都需要了解它相关的知识，不能以一概全，才可以充分发挥特性的作用。
在设计数据库时，经常没有考虑到表分区的问题，往往在数据表承重的负担越来越重时，才会考虑到分区方式，这时，就涉及到如何将普通表转换成分区表的问题了。
通过网络发送数据包或者给一个服务发送网络请求都是透明的操作，不会留下任何永久痕迹。尽管，我们可以将其永久地记下来（通过抓包工具或者日志工具），但通常不会这么做。即使消息代理会暂时地将消息写到外存中，但在其被消费后也通常会删除，这一切是因为，我们认为消息是一种暂态数据。
可以看到系统自动把剩余的空间全部分配到home分区下，但是我们一般使用的是root分区下的空间，所以必须得把home下的多于空间挪到root下
问题1：阿里云在线迁移到腾讯云文件系统有问题进不去系统（阿里云虚拟化驱动跟腾讯云不兼容导致的），如果不用导出.vhd的办法，有简单的办法参考https://cloud.tencent.com/developer/article/2368787，如果用下文的离线思路也可以，就是需要删掉原来所有的虚拟化驱动再集成腾讯云的，不是在源平台搞，而是离线搞（chkdsk /f 检查文件系统那一步是必要的，第5、第6步集成虚拟化驱动也是必要的，只是要注意"先删后增"）。
/var/run/yum.pid被锁定的情况，这种情况很好解决，正常来说只需要把这个文件删掉即可，但是我们删掉之后依然报错，于是发现该文件所在的磁盘分区已满，所以怀疑是这个导致的，于是就看下到底是什么占用导致。
正常情况下，cloudbase-init会自动对系统盘新增空间自动extend volume，但有些自定义镜像在C分区后面有Recovery分区阻挡导致无法extend volume，见https://cloud.tencent.com/developer/article/2160759
1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而管理表则不一样； 2、在删除管理表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！(重要)
磁盘的整体数据是在superblock块中，但是每个个别文件的容量则在inode当中记载，常用来显示磁盘使用量的两个命令
1、CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl -xe" for details.报错的情况
今天在 youtube 上看到一个视频[1]，讲新 mac 到手后一定要做的几个设置，有几个之前我不知道的小设置，非常好用，看完马上就用上了。
当虚拟机服务器运行Docker久了后，发现Docker的文件越来越大，某天发现此台机上的数据库访问不了了，再重启数据库等日志，提示空间不足，查看磁盘空间： root分区满载啊，前段时间还有不少
首先，强调一个概念，在线扩容系统盘扩的是容量，不是分区，对云平台来说，分区不可控，容量可控，扩容能产品化，扩展分区需要自己来。
KALI的磁盘加密是用LUKS(Linux Unified Key Setup)加密的，这个软件不是kali/debian/ubuntu上特有的，各版本的linux都支持，使用AES加密，格式和truecrypt是兼容的，可以在加密后的磁盘上创建任意文件系统，但是加密后的磁盘不能直接挂载，必须要将分区映射到/dev/mapper下，所以为了方便管理磁盘，操作系统安装时都采用了 LVM on LUKS的方式，也就是全盘加密并在上面创建lvm分区。
新装CentOS的时候，选择了默认分区方案。300G的硬盘，装完后发现默认会分配50G到/root目录下，然后分配一些其他的目录，剩下的都会分配给/home目录。
OLTP 联机事务处理， on-line transaction processing 强调数据库内存效率 ，强调内存各种指标的命令率 ，强调绑定变量， 强调并发操作 数据在系统中产生 ，对响应时间要求非常高， 用户数量非常庞大，主要是操作人员，数据库的各种操作主要基于索引进行。
修改数据库 可以使用alter database 命令来修改数据库的一些属性。但是数据库的元数据信息是不可更改的，包括数据库的名称以及数据库所在的位置
项目中本来使用的是mysql5.6进行开发，切换到5.7之后，突然发现原来的一些sql运行都报错，错误编码1055，错误信息和sql_mode中的“only_full_group_by“有关，到网上看了原因，说是mysql5.7中only_full_group_by这个模式是默认开启的 解决办法大致有两种： 一：在sql查询语句中不需要group by的字段上使用any_value()函数 当然，这种对于已经开发了不少功能的项目不太合适，毕竟要把原来的sql都给修改一遍
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
