首页
学习
活动
专区
圈层
工具
发布

使用shell分页读取600万+的MySQL数据脚本

shell-mysql (1)脚本背景: 由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成...,所以就花了点时间,封装了一个小脚本 (2)功能介绍: 直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据 效率与jdbc相差无几 (3...)脚本介绍: 主要有三个脚本构成 1,page.sh 这是一主脚本,里面定义了分页的条件,大家看下便知 2,f.sh 一个小包装的脚本吧,里面会用sed去掉表头一些信息 3,port.sh 分页读取数据的执行脚本...使用非常简单,需要改下page.sh里面的查询字段,以及分页查询的数量,默认是10000,然后执行sh page.sh databaseName tableName传入数据库名和表名即可 Github...count=`echo "$count" | sed '1d' ` #定义一个每页读取的最大数量 pageSize=10000 #计算总共的分页数 totalPage=0; #判断总数量

2.1K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Laravel5.8学习日常之分页

    Laravel分页 Laravel分页是典型的后台分页,不过它将分页进行了封装,只需要调用它封装好的数据就可以实现分页。 数据分页有几种方法。...最简单的是使用 查询构造器 或 Eloquent query 的 paginate 方法。paginate 方法根据用户浏览的当前页码,自动设置恰当的偏移量 offset 和限制数 limit。...Laravel 的分页器将 查询构造器 和 Eloquent ORM 结合起来,提供了方便、易用的数据库结果集分页。通过分页器生成的 HTML 兼容 Bootstrap CSS 框架。...laravel文档介绍 Laravel分页只需要两个步骤: (1)控制器初始化方法增加paginate方法,向前台渲染数据即可; (2)前台将添加一个Laravel自带的语法{{ $data->links...")->count(); //正序读取数据并执行分页 $data = DB::table("user")->orderBy("id","asc")->paginate(10);

    2.9K10

    如何将Pjax整合进网站,实现全站无刷新加载?

    我们之前用ajax来做无刷新分页,一个最大的不足之处就是无法通过uri来标识这个资源以及历史记录倒退问题,通过利用html5 pushState的api,我们可以轻松达到发送ajax请求的同时,动态的记录状态...由于这款插件依赖于jquery,又依赖jq去操作pushState,所以必须下载1.7版本以上的JQ哦!...laravel的方法展示了下,TP中是$this->display()这里不再赘述。...解决问题 问题:原先容器绑定的事件被新容器替换掉了,新容器的div没有绑定事件,所以JQ等绑定的事件无效。如多说评论框无法正常使用。 解决:用pjax的加载完成后的回调函数再次绑定即可!...pjax后,百度编辑器的代码高亮是没效果的,在回调中使用SyntaxHighlighter.all()是没任何效果的,我们只需在回调函数里调用下SyntaxHighlighter.highlight()

    4.6K90

    这个key我查了,没问题

    初步分析 这个 Vue 项目侧边栏是登录后根据用户权限数据动态渲染出来的,侧边栏菜单深度达到三级,动态绑定的部分涉及到 v-for 的嵌套使用,侧边栏点击的时候会不会是那里的 key 有问题导致的,由于之前这个项目也了解一些...根据多次测试发现如下几点 侧边栏的 key 是正常的,签入功能执行后会影响页面渲染,侧边栏点击切换异常是 签入 功能导致的 通过打印log,发现 vue 页面的 created 事件能进入, mounted...,在网页系统中打电话用的,整个呼叫中心功能基于 jQuery 实现 问题排查 由于呼叫中心的代码是编译压缩后的,基于 jQuery 实现的,找呼叫中心那边协助,但是他们反馈他们的代码在另外一个 Vue...,通过把功能代码一行行的注释放开,最后问题定位到了,竟然是 ElementUI 里面的分页组件报错了 1.png 第二天封版了,接下来怎么办 **换呗**,换个分页组件试试,单独引入了 Ant Design...里面的分页多次测试,功能OK,但是项目里所有页面有分页的组件的地方都得改,第一时间向上反馈,领导了解情况后同意,这次现场支援任务完成 总结 这次的问题虽然困扰了K几天,其实这个问题并不难,解决后发现也没有用到什么高深技术

    1.2K20

    利用jquery爬取网页数据,爽得一笔

    image.png 最终,需要将这么多分页数据都给爬出来。嗯,以上就是我们要做的事情。 那么,分析一下,有几个难点。...3、这里面有分页数据,都爬取下来,举个例子,对于该页,我们需要从第1页点击到第 20页,然后把这些表格中的数据都捞下来。...使用jQuery获取数据 使用jQuery爬取页面数据,主要要掌握以下几个基本的技能: 1、如何找到需要操作的form元素,然后利用click()方法,选中需要选择的项。...但是,click()之后,页面卡死了,更本不是我们想象的效果,点击之后,刷新到下一页,让后,我们在这里等待个3s左右,让网络把数据加载好,但实际上这个点击之后的过程背后是需要执行js代码的,然而我们的wait...,https://json-csv.com/  总结 有时候,使用jQuery来爬取网页数据,也是很方便的,利用jQuery强大的查找dom元素,及操作dom元素的特性,实现起来可能要比scrapy简单的多

    4.9K62

    基于SpringBoot的任务管理平台v1.0正式发布

    右上角有个人登陆信息,点击个人登陆信息,里面有个人信息设置,可以修改个人密码、账号。...其中,这里的分页插件以及项目增删改查的时候表格的刷新,都是通过jquery的插件jqgrid实现的,因此对信息的改动会实时反应到表格中。 4、任务管理 技术实现上,类似用户管理,不详细介绍。...7、application 项目的启动文件,main函数在这里,并且datasource也在这里定义,springboot会自动使用定义的datasource。项目使用的是阿里的druid。...这个springboot项目,应该还会持续更新(毕竟是我发github的第一个项目),另外laravel项目如果做完也会尽快发github的。...七、结语 最后,最近公众号关注量大了很多,文章的点击量比以前多了好多,而且前些天还收到了赞赏,这些都让我非常感动。

    2.1K50

    基于 Pusher 驱动的 Laravel 事件广播(下)

    说明:本部分主要基于三个示例来说明Pusher服务的使用。 基础 Channels:频道用来辨识程序内数据的场景或上下文,并与数据库中的数据有映射关系。...Event Data:每一个事件都有相应的数据,这里仅仅是打印频道发过来的文本数据,但也可以包括容许用户交互,如点击操作查看更详细的数据等等。...接下来使用Pusher JavaScript库来接收服务端发来的数据,并使用toastr库来UI展示通知,加入代码: //notification.blade.php ......Activity Streams 这部分主要扩展对Pusher的了解,使用不同的事件来识别不同的行为,从而构建一个活动流(activity stream)。.../assets/laravel_app/activity-stream-tweaks.css" /> jquery/1.11.3/

    3.6K31

    通过 Laravel 创建一个 Vue 单页面应用(三)

    我们将通过演示在 vue-router 进入一个路由之前,如何异步加载数据来继续使用 Laravel 构建我们的 Vue SPA。...创建一个真正的用户端点 我们将创建一个 UsersController 使用 Laravel 5.5 新的 API 资源 来返回 JSON 数据。...配置数据库 是时候给我们的 Vue SPA Laravel 应用连接一个真实的数据库了。你可以通过使用类似 TablePlus 的GUI工具来使用 SQLite 或者 MySQL。...本教程未向您展示如何构建分页,因此您可以自己找到(或创建)自己喜欢的分页! 分页是一种很好的方法,可以向您展示如何以编程方式使用 Vue 路由器在 SPA中 导航。...UsersIndex.vue 组件后显示出的 SPA 结果: 下一步是什么 我们现在有一个有效的 API,可以从数据库中获取真实数据,还有一个简单的分页组件,该组件在后端使用 Laravel 的 API

    7.2K10

    laravel 分页 seo浅谈

    laravel 的分页是非常简单易用的,但是有一点不是非常理想, 默认的分页生成的链接是 users?...page=1 这种形式对seo不是非常友好(理论上) 那么我们可能就需要像 users/page/1 这种形式的分页链接 那么怎么做到呢?...该正则应该有优化的空间,还望不吝赐教。 当然对应的路由也要相应的配置,很简单,就不展开了。 这种方法效果是实现了,但是真的很没有laravel的风格啊 laravel的风格是什么?...composer , package啊 所以来介绍一下第二种方法 laravel-paginateroute 使用方法非常简单,以下摘自readme 第一步 // 要注意对应版本,可到https://packagist.org...的分页写就可以 在页面中这样使用,这个是simplePaginate的对应写法 @if(PaginateRoute::hasPreviousPage()) <a href="{{ PaginateRoute

    1.3K20

    结合 Bootstrap + Vue 组件实现 Laravel 异步分页功能

    在日常开发中,对数据库查询结果进行分页也是一个非常常见的需求,我们可以基于之前介绍的查询方法和前端 HTML 视图实现分页功能,不过从 Laravel 5.3 开始,Laravel 框架就已经为我们提供了非常完整的分页解决方案...不管你使用查询构建器还是 Eloquent 模型类,都可以在一分钟内完成分页功能,Laravel 还为我们提供了丰富的自定义支持,不管是后端的分页器,前端的分页链接,还是整个分页视图,都可以按需进行定制化开发...关于如何使用 Laravel 自带的分页功能进行分页,可以参考官方文档中的分页章节,说的非常清楚,在这篇教程中我们就不再一一演示了,不过 Laravel 自带的分页器实现的分页链接是动态 URL,不利于...此外,我们参考了 Laravel 自带分页器显示分页链接的方法,将其逻辑移到这里,主要用于处理页码及对应分页 URL,以及页码过多时,隐藏部分页码。...,这部分的功能和 Laravel 自带的分页视图 vendor/laravel/framework/src/Illuminate/Pagination/resources/views/bootstrap

    9.9K20

    Laravel 表单方法伪造与 CSRF 攻击防护

    1、表单方法伪造 有时候,我们可能需要手动定义发送表单数据所使用的 HTTP 请求方式,而 HTML 表单仅支持 GET 和 POST 两种方式,如果要使用其他的方式,则需要自己来定义实现。...GET:请求指定的页面信息,并返回响应实体。一般来说 GET 方法应该只用于数据的读取,而不应当用于会产生副作用的非幂等的操作中。...表单请求方法伪造 要告知 Laravel 当前提交的表单使用的是 GET/POST 之外的其他请求方式,需要在表单中添加一个名为 _method 的隐藏字段,字段值是「PUT」、「DELETE」或 「PATCH...如果你使用的是 jQuery 的话,可以这么做: $.ajaxSetup({ headers: { 'X-CSRF-TOKEN': $('meta[name="csrf-token...注:如果你使用了 Laravel 自带的 assets/js/bootstrap.js, 则上述 Vue 请求头设置不需要自己编写,因为 bootstrap.js 中已经包含了这个逻辑。

    11.1K40

    ssm简单总结

    ,多好) SpringMVC4 每一层的分离, 这样耦合更小,思路更清晰 其实, 感觉和 laravel 差不多 虽然自己laravel代码量不多,但无论是route,controller,model...,思维上都 是一样的 Controller做好控制,就ok了 MyBatis3 数据库操作的一种配置方式吧 用起来比较方便,也比较灵活 简单通用的, 可以想办法生成 -(写个程序,读取数据库,根据字段...,生成对应的xml代码) 不通用的,可以自己写 ---- 页面简单总结 jsp jstl 敲多了,一般的也就那样了,不熟悉的查查api jstl中不能直接通过熟悉获得的值, 可以在DTO写好方法,直接调用方法即可...freemarker 个人还是比较喜欢的 可以整体响应 也可以ajax请求后,直接将代码整体插入 jquery简单处理后,即可完成 ---- js简单总结 js虽然不难, 但是处理起来,要做到适配...对应js代码量不足的人, 还真比较麻烦 jquery使用比较简单, 适配也挺好的 html前端,css不难,但是代码量太少, 如果有需要,可以增加代码量 vue.js的2.0貌似刚出来 有时间

    90930

    在ASP.NET MVC5中实现具有服务器端过滤、排序和分页的GridView

    通过前文,我们已经了解到使用 jQuery 插件的数据表可以很容易地实现具有搜索、排序和分页等重要功能的表格。 ?...这是由于绑定将会提供一个附着在控制器上的强类型的模型,这将有助于我们避免读取请求参数,也会将我们从请求的参数类型转换中解救出来。...在模板页面,选择 MVC,如果编写了单元测试,请先做检查,然后点击确定。 我们的工程都是用基本的功能创建的。现在,我们开始创建数据库上下文类,这个类将会被Data Access实体框架使用。...安装包管理器默认是打开的,它会在你的解决方案中显示成已安装的 nugget 包,点击浏览按钮,然后搜索 JQuery DataTables 包,选择它并检查已安装了 JQuery DataTables..."BarCode asc" : orderByString); 最后,我们应用分页部分的功能,并检查用户选择的页面,默认会加载第一页,在这之后,我们将会通过 requestModel.Start 追踪用户点击的每一个页面

    7.6K80

    laravel自定义pagination实现ajax异步翻页

    laravel实现翻页太简单了,几行代码就可以搞定,使用起来极其丝滑顺畅。但是由于laravel高度封装了翻页,要对其改造就显得比较尴尬了。...如有些场景下,我们需要异步翻页,看了laravel的文档,没找到相应的方法。如果要通过调用laravel关于翻页的相关方法,手工写一个分页,会很繁琐,对于这种操作,我是拒绝的。...既然可以通过修改样式改变分页,那么是不是可以通过js来修改分页的html代码,如:将分页a标签的href属性干掉,这样就不会进行跳转。...接着截取分页的页码数字,再新增一个onclick事件,事件触发ajax请求,最后将服务器返回的数据替换现有分页 逻辑上是可行的,撸起袖子就干吧... ?...前者需要在前端用js进行组装;后者需要新建一个ajax视图文件 综上,就能实现ajax分页了,虽然看下来这种实现方式有点怪,至少需要改动的代码并不多,适合懒人

    2.4K30
    领券