首页
学习
活动
专区
圈层
工具
发布

爬取微博图片数据存到Mysql中遇到的

前言   由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb,由于对Mysql的各种不熟悉,踩了无数坑,来来回回改了3天才完成...同时欢迎加入社交媒体数据交流群:99918768) 挖坑填坑之旅 建表 存数据的时候首先需要设计数据库,我准备设计了3个表 微博表:[id, userid, blog_text, lat, lng, created_time...因为本地是MAC,我要连接到远程的一台Windows上才能通过那个Windows连接到群晖的Mysql上...本地配置改了也白改。 存图片   然后这就是一个大坑!!!...最后没有办法使用base64 对二进制进行加密转化成字符串,存到数据库中,然后要用时的时候再解密。...pic_bin = str(base64.b64encode(pic_bin))[2:-1] 改配置文件   由于使用Python多进程,一个小时8G数据量,图片数据比较大,发包的时候回超过mysql的默认限制

2.6K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    修改FCKEditor实现将图片、文件等保存到数据库

    但是FCKEditor的附件(文件、图片、Flash等)是上传保存到Web服务器的,在只有一台Web服务器的情况下没有什么太大的问题,但是如果我们的系统有多个Web服务器实现NLB(网络负载均衡),那么用户将附件上传到其中一台...对于这种多Web服务器实现NLB的情况,一般来说,我知道的有4种解决方案: 1,将附件保存到SQL Server服务器上,用户访问任何一台Web服务器都是通过连接到数据库,从数据库中读取数据并传输到用户客户端...但是FCKEditor没有提供将文件上传到数据库中保存的配置方法,幸好他是开源的,所以我们可以修改其源代码实现将附件保存到数据库中,经过几天的努力我终于将FCKEditor的修改完成了,下面说一说具体的修改思想和方法...Web服务器而是保存到数据库中。...第三步我这里只是一句话带过,实际其中的修改不是一句两句能说清的,总的原则就是要实现原来类的类似接口,让附件保存到数据库中。

    1.7K20

    MySQL 连接怎么保活?

    解决这个问题的办法比较简单,程序只要定期给 MySQL 发送请求,表示自己还活着,MySQL 就不会触发断开连接的操作了,这就是数据库连接保活的应用场景。 今天我们来聊聊数据库连接保活的原理和方式。...如果我们的业务系统不那么闲,能隔三差五的给 MySQL 发送一些请求,数据库连接会一直处于活跃状态,也就不需要专门保活了。...所以,ping 命令不但可以用于数据库连接探活,还可以用于保活。...两种保活方式对比 既然 ping 和 select 都能实现数据库连接保活,那它们之间有什么不一样?...总结 本文写作的初衷就是为了对比 ping 和 select 两种数据库连接保活方式的执行效率。

    7.4K10

    MySQL内存到底消耗在哪里?

    MySQL内存到底消耗在哪里? 一说起MySQL使用的内存,你可能会想到各种buffer,最著名的莫过于innodb buffer pool了,它是内存使用的大户,还有sort buffer等等。...随机读缓冲大小 tmp_table_size:内存临时表大小 binlog_cache_size: 线程级别binlog缓冲大小 thread_stack: 每个线程的堆栈大小 内存分配器: 和其他数据库一样...02 performance_schema维度分析 Performance_schema特性可以监控MySQL的运行指标,通常情况下,默认是开启的,开启时候,会带来10%左右的MySQL性能损耗...开启Performance_schema特性后,会在performance_schema这个系统数据库下存在5张内存相关的表: show tables like '%memory%'; +------...可以在PS数据库中使用下面的SQL进行内存使用情况查询: select substring_index(event_name,'/',2) as code_area, sys.format_bytes(

    4.4K30

    python爬取微博图片数据存到Mysq

    前言   由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb,由于对Mysql的各种不熟悉,踩了无数坑,来来回回改了3天才完成...挖坑填坑之旅 建表 存数据的时候首先需要设计数据库,我准备设计了3个表 微博表:[id, userid, blog_text, lat, lng, created_time, reserve]   pkey...因为本地是MAC,我要连接到远程的一台Windows上才能通过那个Windows连接到群晖的Mysql上...本地配置改了也白改。 存图片   然后这就是一个大坑!!!...最后没有办法使用base64 对二进制进行加密转化成字符串,存到数据库中,然后要用时的时候再解密。...pic_bin = str(base64.b64encode(pic_bin))[2:-1] 改配置文件   由于使用Python多进程,一个小时8G数据量,图片数据比较大,发包的时候回超过mysql的默认限制

    1.6K30
    领券