首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用shell分页读取600万+的MySQL数据脚本

    shell-mysql (1)脚本背景: 由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成...jar包, 上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的 客户端即可,用一行yum命令即可搞定...,所以就花了点时间,封装了一个小脚本 (2)功能介绍: 直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据 效率与jdbc相差无几 (3...#登陆mysql,负责查询某个表数据总量 MYSQL=`which mysql` count=`$MYSQL -hmysqlhost --default-character-set=utf8...#下面的语句,是登陆到数据库后,使用某个数据库,然后根据条件查询表 MYSQL=`which mysql` $MYSQL -hmysqlhost --default-character-set

    1.9K50

    Shell脚本管道符与重定向

    [TOC] 0x00 快速入门 主要介绍管道符与输出重定向的基础知识 1....命令执行,都会继承父进程的文件描述符因此,所有运行的shell命令,都会有默认3个文件描述符。...3(读取的是test.sh内容) done #关闭文件的输入、输出绑定 exec 3>&- exec 3<&- >& 将一个句柄的输出写入到另一个句柄的输入中 <& 从一个句柄读取输入并将其写入到另一个句柄输出中...EOF #示例2.在shell脚本中进行使用 #!...”),它是一种特殊的文件类型,它允许独立的进程通讯(反弹Shell你懂的) 一个进程打开FIFO文件进行写操作,而另一个进程对之进行读操作, 然后数据便可以如同在shell或者其它地方常见的的匿名管道一样流线执行

    1.8K42

    Shell脚本管道符与重定向

    [TOC] 0x00 快速入门 主要介绍管道符与输出重定向的基础知识 1....命令执行,都会继承父进程的文件描述符因此,所有运行的shell命令,都会有默认3个文件描述符。...3(读取的是test.sh内容) done #关闭文件的输入、输出绑定 exec 3>&- exec 3<&- >& 将一个句柄的输出写入到另一个句柄的输入中 <& 从一个句柄读取输入并将其写入到另一个句柄输出中...EOF #示例2.在shell脚本中进行使用 #!...”),它是一种特殊的文件类型,它允许独立的进程通讯(反弹Shell你懂的) 一个进程打开FIFO文件进行写操作,而另一个进程对之进行读操作, 然后数据便可以如同在shell或者其它地方常见的的匿名管道一样流线执行

    1K00

    --shell中重定向和管道符(详细介绍)

    ——前言—— 在Shell编程中,重定向和管道符是两个极其重要的概念,它们让你能够高效地管理输入输出流,并实现强大的命令组合。...重定向和管道符是shell中常用的两种用于控制命令输入输出的技术,它们在shell脚本中有广泛的应用,可以提高脚本的效率和灵活性。...重定向输入使用 '<'符号 通过重定向输入可以使一些交互式操作过程能够通过读取文件来完成。...在 Shell 脚本应用中,管道操作通常用来过滤所需要的关键信息。...例如,使用 grep 命令查询使用/bin/bash 作为 Shell 的用户名称时,会输出符合条件的整行内容,在此基础上可以结合管道操作与awk 命令做进一步过滤,只输出用户名和登录 Shell 列。

    11910

    shell 命名管道,进程间通信, ncat作http server

    命名管道基础 命名管道也被称为FIFO文件, 在文件系统中是可见的,并且跟其它文件一样可以读写!...命名管道特点: 当写进程向管道中写数据的时候,如果没有进程读取这些数据,写进程会堵塞 当读取管道中的数据的时候,如果没有数据,读取进程会被堵塞 当写进程堵塞的时候,有读进程读取数据,那么写进程恢复正常...创建管道的命令: $ mkfifo /tmp/testpipe $ mknod /tmp/testpipe p 下面是命名管道的一个应用例子: reader.sh读取管道的内容,代码如下: #!.../bin/bash # filename: reader.sh # 逐行读取管道中的内容 pipe=/tmp/testpipe trap "rm -f $pipe" EXIT if [[ !...not running [1]+ Done sh reader.sh [root@ns_10.2.1.242 test]$ sh writer.sh quit shell

    1.1K10

    MySQL读取写入文件

    上课 MySQL读取和写入文件在ctf或者awd中,常用于读取flag或者写入一个一句话木马,通过特定函数将其写入 读写的前提 mysql中,如果要读写,还得看一个参数---"secure_file_priv..." 该函数的主要作用就是控制MySQL读取和写入 可以通过 select variables like "%secure_file_priv%"; 查询当前是否可读写,比如下图,说明我的读写范围限制在...G盘 如果尝试读取其他盘的数据,会返回NULL secure_file_priv=NULL 时,不允许读取和写入文件 secure_file_priv=/var 时,允许读取和写入文件,但是读取写入范围限制在.../var中 secure_file_priv= 时,允许任意读取和写入文件 权限 无论时读取还是写入,都要知道网站的绝对路径,并且有绝对的权限 读取 load_file select into load_file...('文件路径') load data infile load data infile '文件路径' into table 表名 这个条语句适合过滤了load_file的第二种读取方式,这个主要是将其写入表之后

    5.3K20

    Linux 登陆shell,交互shell以及环境变量读取顺序

    Linux中的这个shell环境会读取很多不同的配置文件来达成上述目的,同时还有登陆shell与非登陆shell的区分。本文对此作简要描述,供大家参考!...shell读取的不同的shell环境配置文件。...其中,实线的的方向是主线流程,虚线的方向则是被调用(或读取)的配置文件 此外,对于登陆shell读取~/.bash_profile配置文件时,会做出读取顺序判读,如下   ~/.bash_profile...四、其他情形 1、除了读取上述配置文件之外,在登陆shell中还会读取其他相关配置信息,如读取 ~/.bash_history 2、对于shell环境变量修改之后需要立即生效的情形,可以使用source...登出 在shell登出是会读取 ~/.bash_logout

    1.9K40

    MySQL家族新成员——MySQL Shell

    标题虽然叫做MySQL家族新成员,但如果从发布时间上来看,MySQL Shell已经不能算做新成员了,它的正式版与MySQL8.0同一天诞生,2018年4月19日,但还有很多人对它比较陌生,所以称之为“...,并没有专门适用于合并脚本语言的工具,MySQL Shell的出现弥补了这一点。...您可以理解为MySQL Shell就是为Innodb Cluster 而生的。这篇文章将主要介绍通过MySQL Shell对Innodb Cluster进行管理,配置。...另外,MySQL Shell还具有报表框架。可以使用系统自带的报表或者用户自定义报表进行输出。 ? 使用MySQL Shell还可以对集群进行监控和维护。...•不读取被驱逐服务器的过时数据吗? •不会发生脏读? 通过MySQL Shell可以配置一致性级别的选项来实现: ?

    1.8K41

    MYSQL 8 从 MYSQL SHELL 开始

    ,上个系列从performance_schema说起还差一篇关于MYSQL 索引的问题,然后就告一段落了,那么后面会围绕着 MYSQL SHELL ,以及MYSQL 锁,锁的探查,以及问题的解决产生一个新的系列...基于MYSQL 8 后ORACLE 加大在MYSQL 各个方面的周边产品的研发,MYSQL SHELL 作为最新的控制和管理MYSQL 的一个方式的选择。...首先我们的安装我们的MYSQL SHELLmysql shell 一个有意思的地方是他与我们的MYSQL 的版本同时发布,如果有MYSQL 8.027 就有MYSQL shell 8.027 这个版本...https://downloads.mysql.com/archives/shell/ 1 直接运行 yum -y install mysql-shell-8.0.27-1.el7.x86...*to test@'%'; 4 准备通过mysql shell 的方式连接MYSQL mysqlsh --sql--uri=test@192.168.198.101 -P3306 -p1234.Com

    2.2K60

    管道符和作业控制,shell变量,环境变量配置

    笔记内容: 8.6 管道符和作业控制 8.7/8.8 shell变量 8.9 环境变量配置文件 笔记日期:2017.8.15 8.6 管道符和作业控制 ?...管道符可以把一个文件的输出内容,传递给后面的命令: ? ? 所以管道符简单的说就是把前面的命令执行结果交给后面的命令执行。 作业控制: Ctrl+z可以临时停止当前的命令: ? ?...8.7/8.8 shell变量 ?  ...export定义的全局变量是向下的,也就是说如果在子shell里定义的全局变量在这个子shell的父shell上是查看不到的: ? 全局变量在另一个终端中也是查看不到的: ?...PS2是用在另外一种环境的,例如mysql的命令行: ? 扩展 bashrc和bash_profile的区别: http://ask.apelearn.com/question/7719

    1.3K40
    领券