首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    绕过JS爬虫

    http://data.eastmoney.com/jgdy/tj.html       我们希望抓取的是js生成的表格。      ...这种带有js的网站抓取其实不是那么简单的,基本分为那么几种方法,一种是观察页面,有的会有json数据,有的有js代码可以解析目标的url;一种是使用渲染工具;还有一种就是用工具来点击相关button,来抓取...我们希望爬取的是表格中的数据,但是如果我们仔细看一下html代码,会发现,这其实是js生成的,下面这张图是源代码的截图。 ?       这就很尴尬了,怎么办呢?...然后我们就点击第二页、第三页不断的来观察究竟js代码访问了什么后台的url。...pagesize=50&page=1&js=var YnQNqDYj¶m=&sortRule=-1&sortType=0&rt=50585869 http://data.eastmoney.com

    14.9K20

    js插件教程

    button> //这里是插件的代码;我为了方便都写到一个html中了;请把这个script标签中的内容单独写在一个js...window,document,jQuery的映射;方便内部直接调用; //当然你不引用jq的话头部的$和底部的jQuery干掉;你若引用了更过的依赖可以依次添加; //最后面的undefined可不;...号(叹号)或者;(分号)这不是写错了,为了防止那个二货js结束没有分号;而可能发生报错 /* ;function(win,doc,$,undefined){ }(window...function就不调用;对;这里是调用的时候最开始执行的函数 } //;给构造函数addHtml对象原型里添加属性(方法) addHtml.prototype = {//给函数方法...:addHtml,//构造器指向构造函数;这行其实不没啥毛病;不过有时候防止构造器指向Object的情况;你还是装逼写上吧; init:function(){//这里的init;你也可以写成

    35.1K10

    node.js(5) MySQL数据库的学习

    学习内容 ⊙ 数据库的基本概念 ⊙ MySQL的安装 ⊙ MySQL的使用 ⊙ MySQL的语法 ⊙ 在项目中操作MySQL 大部分知识点都是直接截图,到实际操作我会演示 MySQL...p=59&spm_id_from=pageDriver MySQL的使用 输入完密码以后就能进入到主界面 注意:数据库的名字不要出现空格和中文 现在来看看上面一行标识的含义 设置为这样...order by count(*)函数 运行前的数据 运行后,找出5条满足status=0的数据 左右滑动查看 AS设置别名 也可以给特定的列取别名 在项目中操作MySQL...首先使用npm安装mysql的包(注意包的名字是小写的) 测试一下连接成功没: 有结果就是连接成功 在项目中对数据进行增删改查 查看users里的数据(select) 注意: 如果执行的是

    1.4K20

    js插件教程深入

    原文地址:https://github.com/lianxiaozhuang/blog 转载请注明出处 js 插件教程深入 1.介绍具有安全作用域的构造函数 function Fn(name...constructor:Fn, getF:function(){ console.log(1); } } new Fn(); //new 出来的Fn就是一个构造函数 //倘若有人忘记new...function(){} //大家可能都会有这样的纠结,getC到底写到this里还是原型里 //这要从内存说起;写到原型上,每执行一个实例,getC不需要开辟新的内存 //故,可以把一些纯计算的方法,原型上...,如果方法和实例本身有关,应该写道this中 4.方法名防止冲突处理 //如果在引入你的插件之前,window下已经有Fn的变量;怎么办,你如果这么搞; 岂不是把别人的Fn搞掉了 //此时应该把...var MyPlugin = function(options) { this.name = name; this.init(); }; //覆原型链

    13.8K10

    保存数据到MySql数据库——我用scrapy爬虫(二)

    scrapyDemo目录下创建ScrapydemoPipeline.py类 别忘了在配置文件中开启管道哦,scrapyDemo目录下的settings.py文件中,找到下ITEM_PIPELINES,修改为 数据库操作...这里面我们用到了数据库的操作DBHelper类,那么我们在scrapyDemo/db目录下创建dbhelper.py 模块,记得再创建一个init.py哦。...这里用到了pymysql和adbapi,adbapi是python的数据库连接池,可以pip安装: 这里面还用到了getprojectsettings方法,意思是从配置文件settings.py里边获取数据库配置信息...,我们在scrapyDemo目录下的settings.py文件最后加入数据库信息 建表语句如下: 大功告成 我们在命令行运行项目 如果没有报错,我们的数据库是不是有数据了呢

    2.5K90

    MySQL】磁盘满之后,数据库show status受到阻塞的原因

    编辑手记:前两天同事讨论到一个问题,当mysql从库磁盘满之后,show status及show slave status会被卡住,但其他select操作不受影响,但如果数据库是主库,磁盘满了之后,只有...2.每十分钟给日志文件写入一条记录,报告磁盘已经满。 但是对不对?...下面是我对官方文档的测试结果: 1.如果主库上打开binlog,那么当磁盘满之后,每10分钟,数据库会报告一条Disk is full writing '..../mysql-bin.000001' (Errcode: 28). Waiting for someone to free space......上面是对主库所在磁盘满之后,数据库实例的反应,下面讲讲我们遇到的情况:从库磁盘满之后,show status及show slave status会被卡住,但其他select操作不受影响。

    2.2K60
    领券