数据操作语言：去除重复记录 结果集中的重复记录 假如我们要查询员工表有多少种职业，写出来的 SQL 语句如下： 去除重复记录 如果我们需要去除重复的数据，可以使用 DISTINCT 关键字来实现 SELECT...DISTINCT 字段 FROM ......; SELECT job FROM t_emp; SELECT DISTINCT job FROM t_emp; 注意事项 使用 DISTINCT 的
Oracle访问数据的基本方法有: 1.全表扫描 2.采样表扫描 全表扫描(Full table Scan) 全表扫描返回表中所有的记录。...执行全表扫描，Oracle读表中的所有记录，考查每一行是否满足WHERE条件。Oracle顺序的读分配给该表的每一个数据块，这样全表扫描能够受益于多块读. 每个数据块Oracle只读一次....SAMPLE选项: 当按行采样来执行一个采样表扫描时，Oracle从表中读取特定百分比的记录，并判断是否满足WHERE子句以返回结果。...SAMPLE BLOCK选项: 使用此选项时，Oracle读取特定百分比的BLOCK，考查结果集是否满足WHERE条件以返回满足条件的纪录....Sample_Percent: Sample_Percent是一个数字，定义结果集中包含记录占总记录数量的百分比。 Sample值应该在[0.000001,99.999999]之间。
MySQL count() 函数我们并不陌生，用来统计每张表的行数。但如果你的表越来越大，且是 InnoDB 引擎的话，会发现计算的速度会越来越慢。...对于 MyISAM 来说，它把每个表的总行数都存在了磁盘上，因此使用 count(*) 计算时，效率很高直接返回结果。但如果加入了 where 条件，依然会进行搜索，所以效率是不高的。...由于 MVCC 的控制，使得 MySQL 具有并发的能力，也就是说对于同一时刻，InnoDB 返回的表的行数是不一定的，事务看到的行数与开启后的一致性视图有关，换句话说，每个事务能看到的数据版本是不一样的...不同 count 用法的执行效率 count() 本身是一个聚合函数，对于返回的结果集，一行行地判断。如果参数不是 NULL 的话，会一直累加，最后返回结果。...所以 count(*), count(id), count(1) 表示都是返回满足条件的结果集总行数。 而 count(字段)，则表示满足条件的数据行里，不为 NULL 的字段。
本文转载：http://www.cnblogs.com/Charles2008/archive/2008/03/04/1090314.html 曾经一位朋友问我这样一个问题：怎样在查询出来的结果集中增加一个新列...（递增）) 要在查询结果集中增加一个新列。...而我们通过 select * from People 是没有ID这列的。 所以我们需要在查询出来的结果集中增加（一行一行增加)....实现要牵涉到的技术: 首先想到的是通过游标来实现（游标可以遍历结果集中的每一条记录）。 另外我们可以通过创建临时表或表变量来放增加新的列后的数据。...最后通过查询临时表就可以让查询结果中包含新增加的一列.
MySQL做字符集转换的时候，gbk中文字符->latin-1，很多就转成'?'号（0x3f），这种大集合转成小集合，基本是不可逆的。...MySQL执行过程 对一个 MySQL 的执行过程，字符集转换，一般涉及到一下三个步骤： 收到请求，将请求数据从 character_set_client ->character_set_connection...Character_set_client告诉MySQL Server，传入的是一个latin1编码的，也就是单字节流，'中'这个输入，其实当作了0xD6 D0传入。...Character_set_client告诉MySQL Server，传入的是一个 gbk 编码的，'中'这个输入，当作了0xD6 D0传入。...Character_set_client告诉MySQL Server，传入的是一个latin1编码的，'中'这个输入，当作了0xD6 D0传入。
如： 如下图，通常省市县都是单独存放在不同的表中的。 但是我们前端，还需要把省市县合成一个来展示例如下图中显示的收货地址。 ? 实际上存放的：全是省市县编号 ?...我们可以使用拼接来完成这个操作： 使用mysql的CONCAT函数，可以满足我们的需求。...例如： CONCAT(pro.province_name,'-', ci.city_name,'-',ar.area_name ,'-', COMPLETE_ADDRESS) address 该函数的格式...,分割符,字段N) 这样就解决了我们的问题： ?
SUBQUERY（subquery）：子查询中的第一个SELECT，结果不依赖于外部查询。...UNCACHEABLE SUBQUERY（uncacheable subquery）：(一个子查询的结果不能被缓存，必须重新评估外链接的第一行) 3 table 输出结果集的表名称。...4 partitions 输出结果集的表所在的分区 5 TYPE type显示的是访问类型，是较为重要的一个指标，结果值从好到坏依次是： Null > system > const > eq_ref >...( 列与索引的比较，表示上述表的连接匹配条件。) 10 rows MySQL认为它执行查询时必须检查的行数既预估扫描的行数。 11 filtered 通过表条件过滤出的行数的百分比估计值。...Using temporary：为了解决查询，MySQL需要创建一个临时表来容纳结果集，常见于排序和分组查询，常见 group by、order by。
count(*)，如果加了where条件的话，MyiSAM返回也不能返回的很快 由于我们现在如果使用mysql,大多使用的存储引擎都是innodb，因此由于他是一行行的累计计数，因此随着数据的越来越多...,所以主键索引比普通索引的树大些，因此mysql优化器会拿到索引树小的，进行遍历计算,在保证逻辑正确的前提下，尽量减少扫描的数据量，是数据库优化的通用手段之一 此时你可能还依稀记得下面命令可以获取行的数量...计数还没有加1 查询到100行结果里面没有最新插入的数据，而redis计数已经加1 ?...不管上面那种时序去查询数据，最终的结果都会不准确， 使用数据库保存计数 我们可以使用在数据库新建一张表C去记录操作的总行数，由于innodb支持崩溃恢复不丢失数据的，因此可以解决数据丢失的问题，是否能解决不准确的问题呢...索引count(*),count(1),count(id),都表示返回满足条件的结果集的总行数，而count(字段)则表示满足条件的数据行里面，参数字段不为null的总个数 count(主键id) innodb
MySQL中explain的结果字段介绍(二) 昨天说完了执行计划的前四个字段，今天说说后面几个字段吧。...此时表test_explain的存储引擎是myisam，有2条记录，我们修改存储引擎为innodb，然后删除1条记录，再来看结果： mysql:yeyztest 17:41:55>>alter table...eq_ref 在连接查询的时候，如果子表是按照主键等值匹配来进行查询的，则对被驱动表的访问方法就是eq_ref，来看例子： mysql:yeyztest 17:52:22>>select *from...ref ref_or_null 我们知道，普通的索引的值可能是null值，如果我们对于一个普通索引列进行等值判断或者null值判断的时候，那么这个SQL语句的值就是ref_or_null mysql...，这两个字段又分别使用了索引，那么这个时候就会取这两个字段的交集作为结果展示给客户端。
在不损失精确性的情况下，长度越短越好 ref：显示索引的哪一列被使用了，如果可能的话，是一个常数 rows：MYSQL认为必须检查的用来返回请求数据的行数 Extra：关于MYSQL如何解析查询的额外信息...将在表4.3中讨论，但这里可以看到的坏的例子是Using temporary和Using filesort，意思MYSQL根本不能使用索引，结果是检索会很慢 extra列返回的描述的意义 Distinct...这里，MYSQL需要创建一个临时表来存储结果，这通常发生在对不同的列集进行ORDER BY上，而不是GROUP BY上 Where used 使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户...rows 显示MySQL认为它执行查询时必须检查的行数。多行之间的数据相乘可以估算要处理的行数。 filtered 显示了通过条件过滤出的行数的百分比估计值。...，多行之间的数值是乘积的关系，可以估算大概要处理的行数，如果乘积很大，那就很有优化的必要了。
key_len 显示MySQL决定使用的键长度。如果键是NULL,则长度为NULL。 ref 显示使用哪个列或常数与key一起从表中选择行。 rows 显示MySQL认为它执行查询时必须检查的行数。...多行之间的数据相乘可以估算要处理的行数。 filtered 显示了通过条件过滤出的行数的百分比估计值。...Using temporary:为了解决查询,MySQL需要创建一个临时表来容纳结果。 Using where:WHERE 子句用于限制哪一个行匹配下一个表或发送到客户。...rows 显示MySQL认为它执行查询时必须检查的行数。多行之间的数据相乘可以估算要处理的行数。 filtered 显示了通过条件过滤出的行数的百分比估计值。...Using temporary:为了解决查询,MySQL需要创建一个临时表来容纳结果。 Using where:WHERE 子句用于限制哪一个行匹配下一个表或发送到客户。
类型, GROUP_CONCAT(a.ep_name SEPARATOR ' : ') 姓名2 from Table_A a3 group by a.ep_classes 一个字段可能对应多条数据，用mysql...实现将多行数据合并成一行数据 效果
key_len 显示MySQL决定使用的键长度。如果键是NULL,则长度为NULL。 ref 显示使用哪个列或常数与key一起从表中选择行。 rows 显示MySQL认为它执行查询时必须检查的行数。...多行之间的数据相乘可以估算要处理的行数。 filtered 显示了通过条件过滤出的行数的百分比估计值。...Using temporary:为了解决查询,MySQL需要创建一个临时表来容纳结果。 Using where:WHERE 子句用于限制哪一个行匹配下一个表或发送到客户。...rows 显示MySQL认为它执行查询时必须检查的行数。多行之间的数据相乘可以估算要处理的行数。 filtered 显示了通过条件过滤出的行数的百分比估计值。...，多行之间的数值是乘积的关系，可以估算大概要处理的行数，如果乘积很大，那就很有优化的必要了。
随着问问题的同学越来越多，公众号内部私信回答问题已经很困难了，所以建立了一个群，关于各种数据库的问题都可以，目前主要是 POSTGRESQL, MYSQL ,MONGODB ,POLARDB ,REDIS...这里Materialize with deduplication 的意思是，当第一次MYSQL需要这个子查询的结果的情况下，会将临时结果产生为一个临时表，当再次需要这个结果的时候会再次调用。...，虽然使用的 last_update 的索引，但并没有提高查询效率，同时因为是排除在查询中还添加 film_id is not null ， 然后使用了MYSQL 8.021 后提供的 antijoin...，1 2 SQL 的结果是一致的，第三个用 LEFT JOIN 表达的SQL 的结果和前两个不一样。...这里结果的不同主要有几个问题 1 IN EXIST 在数据结果查询中，是有去重的功能的。
业务前提：用户下单，订单归属于指定销售，审核通过的订单可以参与计算业绩。 需求描述：统计向，统计销售成单情况，要求显示指定销售人员最近审核通过的订单。 解决方案：暂列举3种，各有利弊，权衡取舍。...方案1：按需要GROUP BY的关键字段简单查询出全部数据，然后在程序中再次过滤、倒叙、取首。...局限性：批量查询时，数据量不可控，范围越大，内存越可能扛不住，单次查询结果量可预估时酌情考虑，不确定的话不推荐。 方案2：子查询的ORDER BY配合LIMIT使用。...局限性：需要对可能导致查询结果中GROUP BY字段数据非唯一的情况做考虑（本需求要求查询结果中销售数据唯一，影响唯一的字段是check_time（大）、create_time（小），若还有其他字段，则需要再次关联...MAX的结果），影响字段越多，则关联的子查询越多，降低性能。
在项目中，遇到一个场景是，需要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。 对于这样一个极其普通的离线计算场景，有多种技术选型可以实现。...也无需实现MySQL客户端。 我抽象了一下需求，做了如下一个demo。 涉及的数据源有两个：Hive&MySQL；计算引擎：spark&spark-sql。...我们的demo中分为两个步骤： 1）从Hive中读取数据，交给spark计算，最终输出到MySQL； 2）从MySQL中读取数据，交给spark计算，最终再输出到MySQL另一张表。...然后将数据以SaveMode.Append的方式，写入了mysql中的accounts表。 SaveMode.Append方式，数据会追加，而不会覆盖。...4）查看一下结果 我们到mysql中瞅一瞅。 accounts表 有没有注意到，其实不用建立mysql表！这个过程会自动给你创建，相当于if not exists。
在实际应用中，在读取完数据后，通常需要使用pyspark中的API来对数据进行统计或运算，并将结果保存起来。本节将演示这一过程。 1....表是基于上一篇 Hive中分区和分桶的概念和操作 进行构建的，因此建议先阅读一下。...1.2 安装MSSQL的JDBC驱动程序 在本文中，需要将运算的结果转存至MS Sql Server数据库，而要通过java连接MSSQL，需要在服务器上安装jdbc驱动。...DataSet相对DataFrame的优势就是取行数据时是强类型的，而在其他方面DataSet和DataFrame的API都是相似的。...打开SQL Server管理器，可以看到下面的结果： Select * from stat_orderinfo; Id Year Retailer OrderCount CustomerCount
MySQL中explain的结果字段介绍 我们在使用MySQL的时候，用的最多的情况可能就是select语句了，当我们在一个表查找数据的时候，经常会遇到查找的速度比较慢的情况，作为一名DBA，我也会经常遇见业务方写的...而判断一条SQL语句是否会变慢的最主要依据还是"执行计划"。 MySQL中，可以通过explain的语句来查看一个SQL的执行计划。...如果上面的语句中使用了union all的语法，那么就不会出现第三3行的结果，因为union all的过程中，不会对结果集进行去重，所以也就不会使用那个临时表。...的执行计划结果中id值是一样的，这说明了一个问题： 查询优化器将子查询转换成了连接查询。...union：一般联合查询最右面的SQL语句 union result：保存union的结果的临时表SQL subquery：子查询语句如果不能转化成连接查询，并且最里面的子查询如果被物化（物化就是通过将子查询的结果作为一个临时表来加快查询结果
方法一： 直接执行命令： mysql> select count(1) from table into outfile '/tmp/test.xls'; Query OK, 31 rows affected...(0.00 sec) 在目录/tmp/下会产生文件test.xls 遇到的问题： mysql> select count(1) from table into outfile '/data/test.xls...下写的权限，没有深究 方法二： 查询都自动写入文件： mysql> pager cat > /tmp/test.txt ; PAGER set to 'cat > /tmp/test.txt' 之后的所有查询结果都自动写入.../tmp/test.txt'，并前后覆盖 mysql> select * from table ; 30 rows in set (0.59 sec) 在框口不再显示查询结果 以上参考：http://blog....163.com/cpu_driver/blog/static/117663448201111295420990/ 方法三： 跳出mysql命令行 [root@SHNHDX63-146 ~]# mysql
方式一 在mysql命令行环境下执行： sql语句+INTO OUTFILE +文件路径/文件名 +编码方式（可选） 例如： select * from user INTO OUTFILE '/var.../lib/mysql/msg_data.xls ' ; 注意事项： 0)可能会报没有 select command denied（没有查询权限） 或者 Access denied for user（没有...3) 生成的文件中可能会有中文乱码问题，可以在语句后面+CHARACTER SET gbk （utf8等） 例如： select * from user INTO OUTFILE '/var/lib.../mysql/msg_data.csv ' CHARACTER SET gbk; 4）如果sql查询出来的数据包含有很大的数值型数据，则在excel中这些数值数据可能会出问题，因此，可以先导出为.txt.../.csv文件格式，再复制黏贴到excel文件中（首先设置单元格格式为文本） 方式二 在登录某服务器后，采用 mysql 命令执行 ，不需要登录进mysql命令行环境下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
