Loading [MathJax]/jax/output/CommonHTML/config.js
社区首页 >问答首页 >如何指示SQLAlchemy ORM在加载关系时并行执行多个查询?

如何指示SQLAlchemy ORM在加载关系时并行执行多个查询?
EN

Stack Overflow用户
提问于 2017-01-24 03:50:11
回答 2查看 4K关注 0票数 11

我正在使用SQLAlchemy的ORM。我有一个有多重到多个关系的模型:

代码语言:javascript
代码运行次数:0
复制
User
User <--MxN--> Organization
User <--MxN--> School
User <--MxN--> Credentials

我使用association tables实现这些表,因此也有User_to_Organization、User_to_School和User_to_Credentials表,我不直接使用这些表。

现在,当我尝试使用联合加载加载单个用户(使用它的PK标识符)和它的关系(和相关模型)时,我得到了可怕的性能(15+秒)。我想这要归功于this issue

当多个深度级别与连接或子查询加载一起使用时,加载集合内集合将乘以以笛卡尔方式获取的行总数。这两种形式的急切加载总是从原始父类连接。

如果我在层次结构中引入另一个或两个层次:

代码语言:javascript
代码运行次数:0
复制
Organization <--1xN--> Project
School <--1xN--> Course
Project <--MxN--> Credentials
Course <--MxN--> Credentials

尽管每个表中的记录总量相当小,但该查询需要50+秒才能完成。

使用延迟加载,我需要手动加载每个关系,并有多个往返到服务器。

例如,操作,作为查询依次执行:

  • 获取用户
  • 获取用户组织
  • 获取用户学校
  • 获取用户凭据
  • 每个组织都有自己的项目
  • 每一所学校都有自己的课程
  • 对于每个项目,获取其凭据
  • 对于每门课程,都要获得它的证书。

尽管如此,它都在不到200毫秒内完成。

我想知道是否确实需要使用延迟加载,但是并行执行关系加载查询。例如,使用concurrent模块、asyncio或通过使用gevent

例如步骤1(并行):

  • 获取用户
  • 获取用户组织
  • 获取用户学校
  • 获取用户凭据

步骤2(并行):

  • 每个组织都有自己的项目
  • 每一所学校都有自己的课程

步骤3(并行):

  • 对于每个项目,获取其凭据
  • 对于每门课程,都要获得它的证书。

实际上,此时,使子查询类型load也可以工作,即在两个单独的查询中返回Organization和OrganizationID/Project/凭据:

例如步骤1(并行):

  • 获取用户
  • 获取用户组织
  • 获取用户学校
  • 获取用户凭据

步骤2(并行):

  • 获得组织
  • 去学校
  • 获取组织的项目,加入凭据
  • 拿到学校的课程,加入证书
EN

回答 2

Stack Overflow用户

发布于 2017-02-07 17:31:36

您要做的第一件事是检查在db上实际执行了哪些查询。除非您对SQLAlchemy非常熟悉,否则我不会认为它是在做您期望的事情。您可以在引擎配置中使用echo=True,或者查看一些db日志(不确定如何使用mysql)。

您已经提到您使用了不同的加载策略,所以我想您已经阅读了关于它的文档( relationships.html)。对于您所做的工作,我可能会建议加载子查询,但这完全取决于所处理的行/列的数量。但以我的经验来看,这是一个很好的总体起点。

有一件事要注意,你可能需要这样的东西:

db.query(Thing).options(subqueryload('A').subqueryload('B')).filter(Thing.id==x).first()

使用filter.first而不是get,如果主对象已经在标识映射中,则不会根据加载策略重新执行查询。

最后,我不知道你的数据-但这些数字听起来相当糟糕,任何一个巨大的数据集。检查是否在所有表上指定了正确的索引。

您可能已经经历了所有这些,但根据您提供的信息,听起来您需要做更多的工作来缩小您的问题。是数据库模式,还是SQLA正在执行的查询?

无论哪种方式,我都会说,“不”在不同的连接上运行多个查询。任何试图这样做都可能导致不一致的数据返回到您的应用程序,如果您认为您现在有问题……:-)

票数 2
EN

Stack Overflow用户

发布于 2017-02-02 17:57:46

MySQL在单个连接中没有并行性。要使ORM这样做,需要多个连接到MySQL。一般来说,尝试这样做的开销是“不值得的”。

要获得一个user,他的OrganizationsSchools等都可以通过一个查询来完成(在mysql中):

代码语言:javascript
代码运行次数:0
复制
SELECT user, organization, ...
    FROM Users
    JOIN Organizations ON ...
    etc.

这比

代码语言:javascript
代码运行次数:0
复制
SELECT user FROM ...;
SELECT organization ... WHERE user = ...;
etc.

(这不是“并行”。)

或者你的“步子”不完全是‘对’?

代码语言:javascript
代码运行次数:0
复制
SELECT user, organization, project
    FROM Users
    JOIN Organizations ...
    JOIN Projects ...

在一个步骤中,所有用户,以及他们的所有组织和项目。

但是,“用户”是否与“项目”相关联?如果没有,那么这是错误的做法。

如果ORM没有提供一种机制来生成这样的查询,那么它就是“碍手碍脚”。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41827516

复制
相关文章
HTML中的超链接
本文主要介绍了超链接的概念以及其在网页中的应用,包括http链接、本地链接、ftp链接和邮箱链接等,并重点讲解了锚点的定义和用法。
IT可乐
2018/01/04
4.2K0
html中超链接使用_HTML超链接代码
html超链接的写法是e69da5e6ba903231313335323631343130323136353331333431353431使用a标签,如:百度一下,你就知道。
全栈程序员站长
2022/09/18
1.2K0
paperswithcode发布第22期代码和论文时事通讯
采用基于检索的 NLP 的一系列新方法正在成为提高语言模型能力的有效替代方法。 沿着这些思路,Borgeaud 等人. (2021) 最近提出了 RETRO,这是一种利用 2 万亿token数据库的检索增强型 Transformer。 自回归模型以基于与先前标记的相似性从大型语料库中检索的文档块为条件。 与之前的增强方法(如 REALM)类似,所提出的模型在知识密集型任务(如问答)上表现得特别好。 有关 RETRO 架构的概述,请参见上图。
从大数据到人工智能
2022/01/19
5220
paperswithcode发布第22期代码和论文时事通讯
构建稳定的预览视图 —— SwiftUI 预览的工作原理
作为 SwiftUI 最引人注目的功能之一,预览功能吸引了不少开发者初次接触 SwiftUI。然而,随着项目规模的增长,越来越多的开发者发现预览功能并不如最初想象的那么易用。由于预览崩溃的次数和场景的增加,一些开发者已经视预览为 SwiftUI 的缺点之一,并对其产生了排斥感。
东坡肘子
2023/07/08
5900
构建稳定的预览视图 —— SwiftUI 预览的工作原理
html中超链接使用_html中的a标签,超链接代码的详细介绍「建议收藏」
欢迎关注支持,谢谢!今天为大家介绍的是超链接代码a标签的用法,大家有兴趣的话可以看看哟!
全栈程序员站长
2022/09/14
3.1K0
html超链接位置怎么改,如何修改HTML超链接样式?
在网页开发中,我们不免会用到超链接,将内容链接到原网页上。如果不对超链接进行设置,链接默认以固定样式显示,过于单一。那么我们要如何修改 HTML 中的超链接呢?这篇文章 W3Cschool 小编为大家介绍一下。
全栈程序员站长
2022/09/09
4K0
iOS开发中活动视图控制器UIActivityViewController的应用
    在iOS开发中,UIActivityViewController常用来弹出分享面板,其实除了用来社会化分享,UIActivityViewController还有一大应用是用来进行自定义行为。先看如下示例代码:
珲少
2018/08/15
3.8K1
iOS开发中活动视图控制器UIActivityViewController的应用
【已解决】AppStore 如何上传预览视频
【已解决】AppStore 如何上传预览视频 问题描述: 最新版本要上传 APP 的宣传视频 之前没做过 解决办法: 进入最新版本的版本管理信息界面-媒体管理 在媒体管理-选择文件,找到视频上传 视频
君赏
2018/09/07
2.4K0
html 中 a 链接的 download 属性的神奇使用
本文介绍了html中a链接的download属性的神奇使用,可以强制浏览器下载文件,并且支持重命名文件。对于需要下载服务端文件,而不需要浏览器打开的情况,这个属性非常有用。
FungLeo
2018/01/08
1.8K0
html语言代码超链接,html 超链接 word html超链接代码
“打开/保存”是因浏览者的浏览器而异的,假如浏览者的电脑没有装word软件,那么,无论什么情况,都是打不开的,你只能选择保存(选择打开的话,电脑会让你选择使用什么软件来打开);如果浏览者的电脑装了word软件,那么如果电脑的安全级别高一些,一样会提示“打开/保存”,为的是防止直接打开病毒文件。
全栈程序员站长
2022/09/14
21.2K0
如何在Xcode下预览含有Core Data元素的SwiftUI视图
从SwiftUI诞生之日起,预览(Canvas Preview )一直是个让开发者又爱又恨的功能。当预览正常工作时,它可以极大地提高开发效率;而预览又随时可能因为各种莫名其妙的原因崩溃,不仅影响开发进程,同时又让开发者感到沮丧(很难排查出导致预览崩溃的故障)。
东坡肘子
2022/07/28
5.2K0
如何在Xcode下预览含有Core Data元素的SwiftUI视图
as3.0中如何阻止事件冒泡?
as3.0中的事件冒泡机制有时候会很烦人,比如一个Sprite(方便下文描述就命名为Container吧)把另一外Sprite(称为Child吧)做为子元素套进来以后,如果两个Sprite都注册了Mouse_Down事件,要想在Child上点击鼠标时系统只响应Child的Mouse_Down事件,默认是不行的,因为事件冒泡会让Container也响应Mouse_Down事件,示例代码: package { import flash.display.*; import flash.events.Mouse
菩提树下的杨过
2018/01/23
1.6K0
html中给flash加链接代码
html中给flash加链接代码:<embed width="600" height="380" wmode="opaque" pluginspage="http://www.macromedia.c
用户1730674
2018/05/02
2.4K0
2019.5.27拼团活动链接
腾讯云2019年新的拼团活动来啦1H1G2M50G云盘15块一个月,买两个月送一个月,最多送半年,现在是2019年6.25上午10.09。下面的链接48小时有效。
大脑斧
2019/06/25
6720
2019.5.27拼团活动链接
html链接标签
<a>标签,也叫anchor(锚点)元素,既可以用来链接到外部地址实现页面跳转功能,也可以链接到当前页面的某部分实现内部导航功能。
Devops海洋的渔夫
2019/05/31
6.8K0
如何实现微信上制作活动链接「建议收藏」
随着互联网的快速发展,无论是房产、装修检查、家居、家店还是商城、餐饮等行业,商家们都会用到活动预约报名,线上活动链接的制作不仅成本低,而且受众也广,可以达到快速宣传的效果。相信很多小伙伴们在微信朋友圈看到的微信活动报名链接很好奇,这种活动链接是如何实现的,希望自己也可以在微信上制作这种活动链接。   工预善其事必先利其器,在这里,咱不能不提到一个非常好用的微信活动制作神器—获客宝。这款软件的神奇之处在于,他不仅可以帮你在微信上制作活动页面,而且还可以帮你侦查到谁偷偷浏览了你的页面(悄悄来,又悄悄走,不评价,不点赞的访客)。   首先,在微信平台上搜索独为信达,关注该观众号,关注了之后,左下角就会出现“获客宝”然后获客宝登录,授权下,您就可以进去了。
全栈程序员站长
2022/10/02
1.8K0
如何实现微信上制作活动链接「建议收藏」
公众号临时预览链接转永久链接怎么操作
  微信公众平台在六月份进行了一次更新升级,预览链接无法永久存在,只能作为临时预览使用,而且预览的链接将会在短期内失效+预览人数超过500人自动失效。那么利用素材库内文章传播,就受到了限制。那么如何解决这个问题呢?   方法一:最复杂   放入菜单栏。 选择素材库文章,然后点菜单栏,获得图文,点开,这时你会发现临时链接的提示没有了!然后右上角复制链接。就OK了。   方法二:略复杂   关键词自动回复 1、建立关键词规则,然后选择图文素材回复。 2、公众号内回复关键词,获取图文。 3、点开,右上角【
ytkah
2018/03/06
4.8K0
公众号临时预览链接转永久链接怎么操作
html 中 超链接的写法,网页超链接样式的CSS写法「建议收藏」
上一篇文章讲了母栏目后面两行子栏目的DIV布局,这篇文章讲导航做完之后我想在鼠标移到每个不同区域的超链接在颜色上给予变化。
全栈程序员站长
2022/09/09
2.6K0
html 中 超链接的写法,网页超链接样式的CSS写法「建议收藏」
点击加载更多

相似问题

将latin1转换为UTF8

50

如何将mysql latin1转换为utf8

30

latin1 + Mysql :如何将utf8转换为SOLR

116

如何将rds mysql latin1转换为utf8

13

Python将latin1转换为UTF8

31
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文