注:使用set语句设置slow_query_log_file参数的时候需要设置为已经存在且具有对应权限的文件,否则会报错设置失败
Sqoop并不在这篇文章的范围内，拿出来说的原因是，公司数据研发部门是通过Sqoop将数据库数据导入到Hive中，其原理是将数据库数据导入到HDFS中临时存储， 然后在将文件导入到Hive中，最终删掉临时存储的文件。
支持IOS的Emoji表情编码。最好的方法就是把编码存入到数据库了。MySQL版本需要… 支持IOS的Emoji表情编码。
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)
3）将下载的压缩包解压，进入文件夹，打开命令行，运行ngrok.exe authtoken 你的authtoken回车即可
MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10S以上的语句。默认情况下，Mysql数据库并不启动慢查询日志，需要我们手动来设置这个参数，当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件，也支持将日志记录写入数据库表。
概念 MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。 long_query_time的默认值为10，意思是运行10S以上的语句。 Mysql数据库默认情况下并不启动慢查询日志，需要我们手动来设置这个参数，当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。 慢查询日志支持将日志记录写入文件，也支持将日志记录写入数据库表
Python 读取数据自动写入 MySQL 数据库，这个需求在工作中是非常普遍的，主要涉及到 python 操作数据库，读写更新等，数据库可能是 mongodb、 es，他们的处理思路都是相似的，只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到 mysql，分为两个场景，三种方式。
在 iOS 项目中，我们需要服务器来保存一些用户数据，例如用户信息、评论等，我们的服务器端使用了 PHP+MySQL 的搭配。在测试过程中我们发现，用户在 iOS 端里输入了 Emoji 表情提交到服务器以后，PHP 无法在 MySQL 数据库里正确保存，会遇到乱码的问题。下面是原因探析和解决办法。
本文将详细介绍MySQL乱码的成因和具体的解决方案。在阅读本文之前，强烈建议对字符集编码概念还比较模糊的同学 阅读下博主之前对相关概念的一篇科普：十分钟搞清字符集和字符编码 MySQL出现乱码的原因
流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。
准备材料 Nginx.1.12安装包http://nginx.org/en/download.html mysql 自行安装 Lua 相关包 LuaJIT http://luajit.org/download.html ngx_devel_kit https://github.com/simpl/ngx_devel_kit/tags ngx_lua https://github.com/openresty/lua-nginx-module/tags pcre https://sourceforge
MySQL 慢查询，全称 慢查询日志 ，它是 MySQL 提供的一种日志记录，用了记录在 MySQL 中响应时间超过阈值的语句。
日志用于记录数据库的运行情况，以及用户对数据库执行的各类操作。当数据库发生故障时，可以根据日志分析和解决问题，从而对数据库进行恢复。MySQL 的日志类型如下：
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将通过一个处理数据后存入 MySQL 的作业示例，为您详细介绍如何使用 PyFlink。 前置准备 创建流计算 Oceanus 集群 进入 Oceanu
寒假前半个月到现在差不多一个多月，断断续续做完了这个项目，现在终于可以开源出来了，我的想法是为这个项目编写一套完整的教程，包括技术选型分析、架构分析、业务逻辑分析、核心技术点分析、常见面试题等。不过说实话，这里面涉及的一些技术我仍然停留在仅仅是会用的阶段，当然，后面我会不断学习，了解透彻这些技术的底层原理，不断完善这套教程。
微信号：freebuf 由于项目需要抓取sebug的漏洞库内容，就利用scrapy框架简单写了个抓取sebug的爬虫，并存入数据库，mysql或mongodb，这里以mysql为例。 关于scrapy Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpide
写一个mysql binlog备份脚本，要求每天0点0分，计算机自动备份前一天的binlog日志，打包后发送给备份服务器。
爬取链家网、贝壳网的各类房价数据（小区数据，挂牌二手房, 出租房，新房）。 支持北京上海广州深圳等国内21个主要城市；支持Python2和Python3; 基于页面的数据爬取，稳定可靠; 丰富的代码注
在MySQL中，varchar和char都是可以存储字符串的类型，并且，在设计数据表时，必须明确的指定长度！
参考地址: https://github.com/wentmac/mysql_backup
用python连接mysql的时候，需要用的安装版本，源码版本容易有错误提示。下边是打包了32与64版本。 MySQL-python-1.2.3.win32-py2.7.exe MySQL-python-1.2.3.win-amd64-py2.7.exe
特殊说明： 以上文章，均是我实际操作，写出来的笔记资料，不会盗用别人文章！烦请各位，请勿直接盗用！转载记得标注来源！
MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过longquerytime值的SQL，则会被记录到慢查询日志中。longquerytime的默认值为10，意思是运行10S以上的语句。
上篇文章我们说了，联合索引会用两个以上列来创建索引，b+树是一颗，先用c2列排序，若结果相同，则用c3排序。innoDB的b+树特点是根节点保持不变，新表是先默认有聚簇索引，先有一个没有数据的根目录节点，放用户记录数据放入根几点中，当数据慢了，页分裂，会有多的节点，此刻根节点进化成根目录记录节点，数据存入底层节点。二级索引的内节点保证一致性，存入列值的时候加个主键。
MySQL 的慢查询日志是 MySQL 提供的一种日志记录，它用来记录在 MySQL 中查询响应时间超过阈值的语句，具体指响应时间超过
如何在还没存入时就写代码只爬一次 我代码和别人一样为什么也是存入重复？难道他们有这个问题没发现吗？
如果我们查看show egnine innodb查看锁记录的时候往往会看到Innodb的数字使用类似 80000001的形式显示如下：
数据类型是数据库的一个重要组成部分，在MySQL数据库中可将数据类型分为三大类：Text类型（文本类型）、Number类型（数字类型）、Date类型（日期类型）。
#!/bin/bash cat `ls | grep SDU` | awk -F" " '{print $1}' |sort | uniq -c | awk -F" " '{print $2}' > name.txt # 由于三张表的名字是乱的，先赛选出所有名字存入name.txt 文件 # sort 分组，uniq -c 分组计算个数 ca
以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。
Emoji 在我们生活中真的是越来越常见了，几乎每次发消息的时候不带个 Emoji，总觉得少了点什么，似乎干巴巴的文字已经无法承载我们丰富的感情了。对于我们开发者来说，如何将 Emoji 存入 MySql 数据库或者取出来，就变成了一种必须掌握的技能了。
马克-to-win：DBMS （database management system---数据库管理系统）像mysql，oracle，sql server之类，首先没什么神秘的，都只是某个公司编的一个软件而已，比如mysql是MySQL AB公司编的，而sql server是微软编的。对于mysql来说，你拿到软件之后----比如我的mysql5.0，就是一个setup.exe文件,双击一下，就可以安装 了，非常的简单。在你启动软件之后，你可以在这个软件中以行列二维数据表的形式存入你的数据，之后还可以用sql语言去和你的表打交道。这一切都要归功于 人家编的软件DBMS，比如mysql等。想想你将来写一句sql语言，人家DBMS不但能读懂，还能按照你的要求（比如更改表），确实完成你的要求，把 表给改了，想想也挺伟大的啊！
show variables like ‘%slow_query_log%’; #如果结果中包含slow_query_log | OFF ，则说明慢日志已经关闭 #开启慢查询日志的方式：set global slow_query_log=1;
MySQL出现乱码的原因有很多，一般与character_set参数有关。我们先来看看有哪些参数：
主要使用两个函数进行php备份数据库，缺点：不适合备份大型数据库 这里只是讲解下基本原理 备份基本原理过程：连接数据库服务器，查询表，导出表结构 查询数据，存入文件 恢复数据库：连接数据库，导入结构，插入数据 获取表名，使用函数mysql_list_tables mysql_list_tables() 接受一个数据库名并返回和 mysql_query() 函数很相似的一个结果指针。 用 mysql_tablename() 函数来遍历此结果指针 或者任何使用结果表的函数，例如 mysql_fetc
上节讲到如何利用Python获取Oracle已使用过的索引名称，这节讲如何将他们存入MySQL数据库中
运行完脚本后我们查看MySQL数据库，应该可以看到表里应该有数据，而且没有重复数据
如果功能模块之间要通过 localhost 这种屏蔽具体 IP 的设置来通信的话，最好使用 --network=host 来让多个容器都共用一个NetworkSpace ，可以通过localhost互通
http://blog.csdn.net/qtyl1988/article/details/39519951
本文演示了如何在Spring Boot中将Redis作为缓存使用，具体的内容包括：
学习基于注解的 IoC 配置，大家脑海里首先得有一个认知，即注解配置和 xml 配置要实现的功能都是一样的，都是要降低程序间的耦合。只是配置的形式不一样。
MySQL 为关系型数据库(Relational Database Management System), 这种所谓的"关系型"可以理解为"表格"的概念, 一个关系型数据库由一个或数个表格组成, 如图所示的一个表格:
HTML5学堂：关于文件上传，主要包括“构建基本表单”-“使用AJAX发送请求，上传文件”-“使用PHP获取文件基本信息”-“执行SQL语言，返回基本图片路径”-“使用DOM操作设置预览图路径”。一起
数据库是存储数据的集合的单独的应用程序。每个数据库具有一个或多个不同的API，用于创建，访问，管理，检索和复制所保存数据。
本文实例讲述了PHP操作MySQL中BLOB字段的方法。分享给大家供大家参考，具体如下： 1、M/【参考文章的时候，并不建议直接复制，应该尽量地读懂】/ySQL中BLOB字段类型 BLOB类型的字段用于存储二进制数据。 MySQL中，BLOB是个类型系列，包括：TinyBlob、Blob、MediumBlob、LongBlob，这几个类型之间的唯一区别是在存储文件的最大大小上不同。 MySQL的四种BLOB类型 TinyBlob： 最大 255字节 Blob： 最大 65K MediumBlob：最大 16M LongBlob： 最大 4G 注意：如果你存储的文件过大，数据库的性能会下降很多。 2、PHP操作BLOB案例 (1)操作新闻内容
最近笔者在搭一个自己的小框架，基于SpringBoot全家桶整合了SpringSecurity、Redis、MyBatis-Plus、RSA加密等，所以我打算将搭建过程记录下来以做学习只用，好了废话不多说，下面开始。
我用的数据库版本太低，不能直接存入json，遂将原来json格式的文件转换成字符串 ￥=并用python自带的方法--eval()恢复成原样 例如：将列表里套着的字典类型的做处理 mes = [{'alert_settings': {'sms': '1', 'email': '1'}, 'user_id': '1680700'}, {'alert_settings': {'sms': '1', 'email': '1'}, 'user_id': '2857376'}, {'alert_settings'
如果您现在苦于每天繁琐、重复的数据采集工作，可尝试套用该自动化方案，节省人力，降本增效！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
