首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

group by 慢查询优化

一、问题背景 现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下: 我在测试环境构造了500万条数据,模拟了这个慢查询。...简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。...二、看执行计划 可以看到,group by字段上我是加了索引的,也用到了。 三、优化 说实话,我是不知道该怎么优化的,这玩意还能怎么优化啊!先说下,下面的思路都是没用的。...思路二: where条件太复杂,没索引,导致查询慢,但我给where条件的所有字段加上了组合索引,也还是没用 思路三: 既然group by慢,换distinct试试??...虽然知道group by和distinct有很小的性能差距,但是真没想到,差距居然这么大!!!大发现啊!!

85220

Django源码学习-24-Group

Django源码学习-23-Permission Django网络应用开发的5项基础核心技术包括模型(Model)的设计,URL 的设计与配置,View(视图)的编写,Template(模板)的设计和...from django.contrib.auth.models import Group ? 字段fields: name:必需,80个字符或更少,例如, 'Awesome Users'。...分组使用的是django.contrib.auth.models.Group模型, 每个用户组拥有id和name两个字段,该模型在数据库被映射为auth_group数据表。 ?...分组操作: ① 创建分组 Group.object.create(group_name) ② 某个分组上的权限,多对多的关系 group.permissions: ③ 添加权限 group.permissions.add...在模板中使用权限: 在settings.TEMPLATES.OPTIONS.context_processors下,因为添加了django.contrib.auth.context_processors.auth

65240
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Django 模型查询2.3

    查询集 字段查询:比较运算符,F对象,Q对象 查询集 在管理器上调用过滤器方法会返回查询集 查询集经过过滤器筛选后返回新的查询集,因此可以写成链式过滤 惰性执行:创建查询集不会带来任何数据库的访问...异常,[0:1].get()引发DoesNotExist异常 查询集的缓存 每个查询集都包含一个缓存来最小化对数据库的访问 在新建的查询集中,缓存为空,首次对查询集求值时,会发生数据库查询,django...函数:Avg,Count,Max,Min,Sum from django.db.models import Max maxDate = list.aggregate(Max('bpub_date'))...list.count() F对象 可以使用模型的字段A与字段B进行比较,如果A写在了等号的左边,则B出现在等号的右边,需要通过F对象构造 list.filter(bread__gte=F('bcommet')) django...,会合并为And进行 需要进行or查询,使用Q()对象 Q对象(django.db.models.Q)用于封装一组关键字参数,这些关键字参数与“比较运算符”中的相同 from django.db.models

    2.4K20

    八、Django分组查询

    分组查询、F查询和Q查询 分组查询 统计每个出版社出版的书籍的平均价格 第一种方式 obj = models.Book.objects.values('publishs_id').annotate(...a=Avg('price')) ## select avg (price) from app01_ book GROUP BY publishs_ id; 第二种方式 obj = models.Publish.objects.annotate...(a=Avg('book__price')) return HttpResponse(obj.values('a')) F查询 F查询一般用于单表两个字段比较 示例表 class Book(models.Model...同时,Q 对象可以使用~ 操作符取反,这允许组合正常的查询和取反(NOT) 查询: bookList=Book.objects.filter(Q(authors__name="yuan") & ~Q(publishDate...所有提供给查询函数的参数(关键字参数或Q 对象)都将"AND”在一起。但是,如果出现Q 对象,它必须位于所有关键字参数的前面。

    66210

    Group by中子查询order by排序失效问题分析

    通过sql分组查询数据时,一般通过group by来完成,group by默认取相同的分组列(一列或者多列)中第一个数据。...id最大的记录,我们可能想到的sql如下(name列作为分组): select id,name from (select id,name from tt order by id desc) as t group...因为mysql 5.6之后版本对排序的sql解析做了优化,子查询中的排序是会被忽略的,所以上面的order by id desc未起到作用。.../ 输出结果如下: id,name 2,name1 4,name2 其实除了group by获取分组最后一个记录之外,还可以通过关联子查询方式来实现: select id,name from tt a...by和关联子查询两种方式的实现,获取分组的最后一条记录要么直接通过分组直接来获取,要么先获取到记录关键key然后通过关键key获取对应的记录即可。

    3.1K30

    Mysql常用sql语句(12)- group by 分组查询

    测试必备的Mysql常用sql语句系列 https://www.cnblogs.com/poloyy/category/1683347.html 前言 group by 关键字可以根据一个或多个字段对查询结果进行分组...group by 一般都会结合Mysql聚合函数来使用 如果需要指定条件来过滤分组后的结果集,需要结合 关键字;原因:where不能与聚合函数联合使用 having group by 的语法格式 GROUP...group by 单字段分组的栗子 对sex单个字段进行分组查询 select * from yyTest group by sex; ?...知识点 多个字段分组查询时,先按照第一个字段分组,如果第一个字段有相同值,则把分组结果再按第二个字段进行分组,以此类推 如果第一个字段每个值都是唯一的,则不会按照第二个字段再进行分组了,具体原理可看下图...group by + group_concat()的栗子 group_concat()可以将分组后每个组内的值都显示出来 select department,group_concat(username)

    2.1K20

    Django 2.1.7 模型 - 条件查询、模糊查询、空查询、比较查询、范围查询、日期查询

    上一篇Django 2.1.7 模型 - MVT模型增删功能讲述了关于MVT模型中列表的增加数据以及删除数据的功能,在数据返回的过程中,也有部分关于模型之间关联查询的数据。...server01 mysql]# tail -f /var/lib/mysql/mysql.log 2019-06-11T14:36:15.870481Z 3 Field List auth_group_permissions...3 Field List django_migrations 2019-06-11T14:36:15.873699Z 3 Field List django_session 2019...属性名称__比较运算符=值 看完上面几句话,肯定是似懂非懂的,那么我们来进入django的交互模式,引入数据模型类来查询一下看看。...: 那么下面使用django的模型查询看看,如下: In [6]: serverinfo = ServerInfo.objects.filter( id__exact = 1 ) In [7]: for

    10.8K20

    Django 2.1.7 查询集 QuerySet

    上一篇Django 2.1.7 模型 - 条件查询 F对象 Q对象 聚合查询讲述了关于Django模型的介绍F对象、Q对象、聚合查询等功能。...其中查询集具有缓存、返回多个值、返回单个值、对查询集切片处理等功能。...缓存:使用同一个查询集,第一次使用时会发生数据库的查询,然后把结果缓存下来,再次使用这个查询集时会使用缓存的数据。 查询集的缓存 每个查询集都包含一个缓存来最小化对数据库的访问。...在新建的查询集中,缓存为空,首次对查询集求值时,会发生数据库查询,django会将查询的结果存在查询集的缓存中,并返回请求的结果,接下来对查询集求值将重用缓存中的结果。...对查询集进行切片后返回一个新的查询集,不会立即执行查询。

    1.2K10
    领券