Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >python SQLAlchemy 缓存问题

python SQLAlchemy 缓存问题

作者头像
千往
发布于 2020-05-08 08:02:04
发布于 2020-05-08 08:02:04
1.7K00
代码可运行
举报
运行总次数:0
代码可运行

python SQLAlchemy 缓存问题

背景

公司自动化框架采用的python的 SQLAlchemy 进行数据库的操作,在编写一条自动化用例的时候发现,从mysql从获取的数据不对,有个字段一直拿到错误的值(None) 自动化用例设计场景如下:

  1. 数据准备阶段,自动化代码删除mysql中的数据;
  2. 数据准备阶段,自动化代码往mysql中insert一条数据;
  3. 业务代码处理,update刚刚新增的数据;
  4. 断言阶段,自动化代码获取数据进行断言;

过程

过程是坎坷的,而且一开始就跑错了方向

明确现象

从mysql的角度来看,数据是update成功了的,符合预期了的,只是自动化代码去拿数据拿错了的 问题就是为什么自动化代码拿不到那个字段的数据

推测

  1. 简化重现流程,在sql_template层写了一个main方式,直接通过sqlalchemy的方式去获取数据,如下:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
if __name__ == '__main__':
    import pymysql, assertpy.assertpy

    pymysql.install_as_MySQLdb()

    import pkgutil
    from features import model

    for importer_sql, modname, ispkg_sql in pkgutil.walk_packages(path=model.__path__,
                                                                  prefix=model.__name__ + '.',
                                                                  onerror=lambda x: None):
        exec('from ' + modname + ' import *')
    sql_session = SqlTemplate()

    params_dict = {
        "material_type": 131,
        "creative_source_id": 718567,
        "adv_user_id": 148
    }

    expect_result = {
        "deleted_at": "${~is_not_none}"
    }
    model_name = "AdvCreativeWarehouse"

    result = sql_session.selectOne(eval(model_name), params_dict)
    print(result)
    result_dict = result.as_dict()
    print(result_dict)

这里发现从mysql中取出的数据是对的,deleted_at字段取出来正确的值 那么排除了selectOne方法的问题,排除了AdvCreativeWarehouse这个实现类的问题

  1. 推测是不是因为pyc文件导致,在执行python文件的时候,还是引用的老的编译文件
  2. 采用了python setup.py install 重新打包了项目
  3. 直接删除pyc文件
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
find {指定目录} -name "*.pyc" | xargs rm -rf

一顿报错过来发现没有解决问题

  1. 拆减重现步骤,简化重现步骤,排除干扰项目
  2. 自动化代码插入数据
  3. 手动update数据
  4. 自动化代码读取数据

发现重现了问题,排除业务代码的问题 又发现了重大问题,c步骤取出来的数据,是a步骤插入的数据,意味着c取出来的数据可能是去到的缓存的数据 **

  1. 缩小范文,细读代码
  2. 重新review了自动化框架,发现insert的动作被封装过,每次insert完会调用sqlalchemy的query查询一次数据,第二次查询其实也是同一条数据
  3. 直接google查询sqlalchemy确实有缓存机制
  4. 解决问题

发现了问题就比较好解决,在query完后强制刷新,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    def selectOne(self, class_or_type_or_tuple, param):
        obj = None
        try:
            obj = self.session.query(class_or_type_or_tuple).filter_by(**param).one()
            self.session.expire_all() # 就是这句,强制刷新
        except NoResultFound:
            return None
        except(MultipleResultsFound) as e:
            print(e)
        return obj

Expires all persistent instances within this Session

额外学习

pyc文件

.pyc文件是由.py文件经过编译后生成的字节码文件,其加载速度相对于之前的.py文件有所提高,而且还可以实现源码隐藏,以及一定程度上的反编译。 Python的程序中,是把原始程序代码放在.py文件里,而Python会在执行.py文件的时候。将.py形式的程序编译成中间式文件(byte-compiled)的.pyc文件,这么做的目的就是为了加快下次执行文件的速度。 所以,在我们运行python文件的时候,就会自动首先查看是否具有.pyc文件,如果有的话,而且.py文件的修改时间和.pyc的修改时间一样,就会读取.pyc文件,否则,Python就会读原来的.py文件。 其实并不是所有的.py文件在与运行的时候都会差生.pyc文件,只有在import相应的.py文件的时候,才会生成相应的.pyc文件

编译语言vs解释语言

计算机是不能够识别高级语言的,所以当我们运行一个高级语言程序的时候,就需要一个“翻译机”来从事把高级语言转变成计算机能读懂的机器语言的过程。这个过程分成两类,第一种是编译,第二种是解释。 编译型语言在程序执行之前,先会通过编译器对程序执行一个编译的过程,把程序转变成机器语言。运行时就不需要翻译,而直接执行就可以了。最典型的例子就是C语言。 解释型语言就没有这个编译的过程,而是在程序运行的时候,通过解释器对程序逐行作出解释,然后直接运行,最典型的例子是Ruby。 通过以上的例子,我们可以来总结一下解释型语言和编译型语言的优缺点,因为编译型语言在程序运行之前就已经对程序做出了“翻译”,所以在运行时就少掉了“翻译”的过程,所以效率比较高。但是我们也不能一概而论,一些解释型语言也可以通过解释器的优化来在对程序做出翻译时对整个程序做出优化,从而在效率上接近编译型语言,而不能超过编译型语言。 此外,随着Java等基于虚拟机的语言的兴起,我们又不能把语言纯粹地分成解释型和编译型这两种。 用Java来举例,Java首先是通过编译器编译成字节码文件,然后在运行时通过解释器给解释成机器文件。所以我们说Java是一种先编译后解释的语言。

参考资料

pyc相关 https://www.zhihu.com/question/30296617 https://blog.csdn.net/weixin_30345577/article/details/96035867?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-1 编译语言vs解释语言 https://www.cnblogs.com/zoe233/p/6993972.html(推荐) sqlalchemy缓存问题 https://stackoverflow.com/questions/12108913/how-to-avoid-caching-in-sqlalchemy https://www.thinbug.com/q/10210080

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-05-06 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
python .pyc是个什么啥?
我初学Python时,听到的关于Python的第一句话就是,Python是一门解释性语言,我就这样一直相信下去,直到发现了*.pyc文件的存在。如果是解释型语言,那么生成的*.pyc文件是什么呢?c应该是compiled的缩写才对啊!
py3study
2018/08/02
6460
Python基础2
我初学Python时,听到的关于Python的第一句话就是,Python是一门解释性语言,我就这样一直相信下去,直到发现了*.pyc文件的存在。如果是解释型语言,那么生成的*.pyc文件是什么呢?c应该是compiled的缩写才对啊!
hankleo
2020/09/16
6590
Python基础2
总结Python的几点语言特性
Python语言简洁,优雅,扩展性强...... 这些特点常被Python程序员挂在嘴边,确实也都是Python的特点。
Python碎片公众号
2021/05/14
9280
Python学习(二)---- 字符串操作、列表字典及深浅拷贝等
https://blog.csdn.net/fgf00/article/details/52061971
智能算法
2018/08/17
6420
Python入门
初学Python一直听别人说,Python是一门解释性语言,直到发现了.pyc文件的存在。如果是解释型语言,那么生成的.pyc文件是什么呢?c应该是compiled的缩写才对啊! 为了防止其他学习Python的人也被这句话误解,那么我们就在文中来澄清下这个问题,并且把一些基础概念给理清。
py3study
2020/01/07
5770
python之初接触
             1:开发效率从低到高 2:执行效率从高到低 3:掌握难度从难到易
全栈程序员站长
2022/07/21
4060
python之初接触
python基础概述
python诞生于1989年,创始人 吉多·范罗苏姆(Guido van Rossum)。python是一种 C和shell 之间,功能全面,易学易用,可拓展的语言。 如下是最新的TIOBE排行榜(https://www.tiobe.com/tiobe-index )
py3study
2020/01/09
7010
python基础概述
python基础一
1991年,第一个Python解释器诞生,它是用C语言实现的,并且能调用C语言的库文件。
py3study
2020/01/17
4100
Python基础入门之解释器安装
Python由荷兰数学和计算机科学研究学会的Guido van Rossum 于1990 年代初设计,作为一门叫做ABC语言的替代品。 1 Python提供了高效的高级数据结构,还能简单有效地面向对象编程。Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和快速开发应用的编程语言, 2 随着版本的不断更新和语言新功能的添加,逐渐被用于独立的、大型项目的开发。
江湖有缘
2023/11/10
2060
Python入门你要懂哪些?这篇文章总算讲清楚了
从今天开始学习Python,今后会不定期更新Python的相关文章。好了,言归正传,今天我们来看看对于Python初学者,你要知道了解Python的哪些基础知识吧。
CDA数据分析师
2019/10/15
7610
Python入门你要懂哪些?这篇文章总算讲清楚了
Python语言快速入门建议收藏
Python(蟒蛇)是一种动态解释型的编程语言。Python可以在Windows、UNIX、MAC等多种操作系统上使用,也可以在Java、.NET开发平台上使用。
Java架构师必看
2021/12/19
6080
Python语言快速入门建议收藏
Python基础入门笔记(一)
既然学习 Python,那么至少得了解下这门语言,知道 Python 代码执行过程吧。Python 的历史有兴趣的百度百科下就有,这个不多说了。
py3study
2020/01/10
9180
pyc是个什么鬼?
1.Python是一门解释型语音? 我初学Python时,听到的关于Python的第一句话就是,Python是一门解释型语音,我就这样一直相信下去,知道发现了*.pyc文件的存在.如果是解释型语音,那
py3study
2020/01/19
9390
二、Python介绍
Python 是一门什么样的语言? python是一门动态解释性的强类型定义语言。 编程语言主要从以下几个角度为进行分类,编译型和解释型、静态语言和动态语言、强类型定义语言和弱类型定义语言,每个分类代表什么意思呢,我们一起来看一下。 一、低级语言与高级语言 最初的计算机程序都是用0和1的序列表示的,程序员直接使用的是机器指令,无需翻译,从纸带打孔输入即可执行得到结果。后来为了方便记忆,就将用0、1序列表示的机器指令都用符号助记,这些与机器指令一一对应的助记符就成了汇编指令,从而诞生了汇编语言。
酱紫安
2018/04/16
8870
二、Python介绍
python之基础篇(一)
python是一种面向对象的解释型计算机程序设计语言,由荷兰人Guido van Rossum于1989年发明,第一个公开发行版发行于1991年。
py3study
2020/01/13
6270
Python学到什么程度可以面试工作(解答)
逛知乎,看到帖子Python学到什么程度可以面试工作?,在桃花岛主的回答中讲到2019年最新的Python面试题,同时还有旭东大佬已做了大部分的解答。
python学习教程
2020/02/13
7130
Python学到什么程度可以面试工作(解答)
python基础(一)
  python的创始人为吉多·范罗苏姆(Guido van Rossum)。1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承。
用户1432189
2018/09/05
1.5K0
python基础(一)
Python 基础部分--了解Python
作为初学者,比起其他编程语言,Python是最容易上手的.Python追求的是找到最好的解决方案,而其他语言追求的是多种解决方案. Python在语言上非常解决自然语言,所以在阅读性是极佳的.不需要了解太多语法,你也看明白代码意思.
CC老师
2018/10/27
6260
Python 基础部分--了解Python
第一章 介绍与循环
第一章 介绍与循环 第一课 开课介绍 pyhton擅长的领域: web开发: Django\pyramid\Tornado\Bottle\Flask\WebPy 网络编程(爬虫): Scrapy\Twisted\Requests\Paramiko 科学运算: Pandas(金融领域)\SciPy\Ipython DUI图形开发: wxPython\PyQT\Kivy 运维自动化: OpenStack\腾讯蓝鲸 自动化运维必须
玩蛇的胖纸
2018/06/08
8930
python学习第一讲,python简介
python是一个解释型语言. 指的就是将源代码丢个解释器. 解释一行代码,翻译成机器语言给cpu执行. 编译型语言例如C/C++ 直接将源代码翻译成机器语言,交给cpu执行. 特点:
IBinary
2019/05/25
6050
相关推荐
python .pyc是个什么啥?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验