首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

用 Puppeteer 实现文章备份

读了篇文章 《前端使用 puppeteer 爬虫生成《React.js 小书》PDF并合并》。参照这个思路,可以用 Puppeteer 备份文章。 呈现效果: ?...点击左侧的链接,可以看到每篇文章。每篇文章都存了一张截图,如下图所示: ? 实现思路 进入个人首页,抓取该用户所有的文章。 对每篇文章截图。 生成一个导航页面。该页面上的链接,可以看到每篇文章截图。...主要的实现代码 抓取该用户所有的文章。需要程序将页面滚动到底部,去拿所有文章。...该页面上的链接到每篇文章截图。...如果只是加外部的 consle.log 可以用 page.on('console', msg => console.log(msg.text())) 反爬虫 短时间内频繁访问文章,会触发反爬虫机制

1.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python + Selenium 自动发布文章(二):

    写在开始   本篇介绍用Python+Selenium 自动发布文章,一些必要的前置准备说明在上篇文章里面有提到,这里就不再重复了。...write-blog-jianshu   从上图可以看到,在书写一篇博客,需要依次选择分类(也就是文集),新建文章,然后填入标题和内容。   ...'auto.md' print("Markdown File is ", md_file) timeout = 10 main = Main(md_file) # ...lambda d: d.find_element_by_xpath('//*[@id="qlogin_list"]/a[1]')) login.click()   jianshu.py:这个是自动写...auto-post-jianshu 写在最后   在自动写文章的思路大概就这样,同样这也不是唯一的办法,根据代码自己做调整即可,网页的结构也可能会改变,故不保证程序可以一直正常运行。

    92310

    Android仿长按文章生成图片效果

    前言 使用APP的同学都知道,有这样一个功能:文章页长按内容时底部会出现一个 生成图片分享 的按钮,点击之后就可以将当前的文章生成一张长图片,这张图片可以保存到本地或分享给好友,同时还可为图片设置成为白和黑两种风格...效果预览 老规矩,首先看一下实现后的效果;虽然整体没有有范,个人感觉还是挺像的。 ? 文章页实现 内容 文章页内容的实现,没有什么难点。...到这里,我们就完全实现了仿照长按生成图片的功能。那么回过头再来看,这样一个功能,为什么在我的手机上,APP的长按功能会有bug呢。...APP还是高大上呀,对代码的高亮显示正是棒棒哒!...---- 后话 一个偶然的机会,在尝试长按生成图片的功能时发现,原来是通过WebView选择的区域生成第二页的内容;因此当我在文章页空白区域长按后,点击生成图片时必然是只有空白的,只有底部的一些固定标签

    1.7K20

    =鸡汤?爬取今日看点数据:1916篇热门文章可视化

    一、前言 最近写得两篇关于的数据可视化文章:《推荐作者风云榜(爬取app数据)》、《我的一月记:数据可视化》反响都还不错,因而将继续针对进行数据分析和可视化。...作为一名来到一个多月的小透明,一直不知道是何时“横空出世”的,@叔、@宝玉可否解答下。...如图可知,有一篇文章阅读数远远高于所有的文章,那就是@叔的《友常见问题汇总》,作为新手向的使用手册,有此数据,也属正常,虽然不知叔有多少用户,但86w+的阅读量估计是前无古人后无来者了。...单人贡献5篇及以上热门文章的,共有69名作者。 6、文章标题 不知道有多少人觉得文章太过鸡汤,或者不熟悉的人,是否直接就认为“=鸡汤”?...四、小结 所有假如你是一名非书用户,看到这些词云和标题,你觉得是否等同于鸡汤呢?又或者,你已经是一名书用户,日常看到的文章,首页上呈现的文章,对你来说又意味着什么呢?

    38730

    markdown教程

    ###Web 推荐,有 Markdown 写作/预览模式。 作业部落,功能强大的 Markdown 编辑器。...例如 或者 Ulysses 就有这种功能。 ###链接 在文档中插入链接的语法和插入图片的语法很像,只是少了最前面的英文感叹号"!"。 在方括号写下链接文字,圆括号写下网址即可。...例如: — 或 *** 实际显示的效果是这样的(在不同的环境下显示效果可能会有差异): ---- ###如何在书用markdown插入代码 第一:要在设置上该为markdown; 第二:是新建文章...在书中,点击右上角个人头像-设置,在“常用编辑器”中选中markdown,然后保存。注意一行小字:“切换后对新建文章生效”。...若是在 之类网站上,可能只能手工在每段开始前手工添加五个“&n bsp;”了。记得,是“&nb sp;”,字符和字母之间都没有空格。

    2.9K11

    推荐作者风云榜(爬取app数据)

    一、前言 自处女作《爬取张佳玮138w+知乎关注者:数据可视化》一文分布后,来快一个月了。但一直不怎么熟悉这个平台,因此,这回爬取app里的推荐作者并进行简单可视化,以增进对的了解。...二、爬取app 爬取app的过程此文不做过多展开。大致过程如下: 用fiddler软件抓包手机上的app数据。找到API,看到返回的JSON数据,格式齐整: ?...可以看出推荐作者里粉丝数前十的大V有:黛玉、刘淼、彭小六、江昭和、播客、叔、韩大爷的杂货铺、Sir电影、饱醉豚、冷眼观史。...此外发现“”系的还有宝玉、出版、茶馆BossYe、活动精选、牧心、福利社社长东西、大学堂........因此继续看看他们发布的文章数和写作的总字数情况: ? 文章数直接几百上千,总字数更是百万级别。百万级别是个什么概念的,谷歌了下《论语》约1.6w字,《老子》约5k+字数。

    73910

    :如何去掉图片下面烦人的“图片发自App”

    文/毛毛 大家使用的过程中有没有遇到这个问题: 每次插入图片的时候,图片下面总有一行标题,怎么删也删不掉。 像这样: ?...有时候有图片标题是好,但是有些图片真的不知道起什么标题的时候,就不想看到“图片发自App”这个字样。同感的举手 曾经我也因为这个问题去网上查了一通,没有结果,只好作罢。...第一步,设置文章编辑默认格式为Markdown 如果你已经这样做了,请跳过。 1、进入官网,登录之后进入头像下面的设置。如下图: ?...第二步,在Markdown模式下创建文集 设置好默认编辑器之后,进入“写文章”。在Markdowm模式下创建一个新的文集。 注意:是创建文集,不是文章 创建好文集之后,在新的文集下面新建文章。...第五步,APP里面如何去图标? 上面说到的都是电脑操作,但是一般来说,大家都是用手机创作。下面告诉大家如何用手机去标题。

    78310

    在WordPress中添加风格的连载目录和文章导航

    最近又有了一个需求,想在该系列的每一篇上都加上一个目录列表和前后文章的导航链接,方便读者查找阅览。效果就像书上连载小说的这个东西: ?...思路 总体上需要实现的是两部分内容,一个前后文章的链接按钮,一个目录的弹出框。...第一步 前后文章的链接 Genesis框架里面其实已经包含了这个功能,要在文章中自动插入前后文章的链接,只需要在子主题的function.php中加入一句: ?...这确实很方便,默认会在所有文章后面都出现前后链接。...但这不符合我的需求,我的需求是: 只需要在添加了Genesis Explained这个tag的文章下面才显示 在这两个链接中间插入一个“目录”的按钮 只在同系列文章之间导航,不显示其他无关的文章 如果文章是该系列的第一篇

    2K20

    Python玩转

    前言 2018年11月15号,迎来大变革,取消了以往的积分制度,换为去中心化的钻,每日发放一万钻。...爬虫 爬虫分析 钻的排行采用了异步加载,我们通过找包来获取数据,这里分为文章排名和用户排名,我们单独编写代码和单独存储。 ?...TOP10 首先,我们看看获取钻最多的前10篇文章。...文章涉及的内容,大部分都是和钻的分享有关,因为钻是最近才开始运营的,跟着这个热点走,曝光率与投票也会相应的多一些。 文章词云 10篇文章可能看到的还是比较局限,我们看看到底哪些文章更容易上榜。...通过关键词,我们发现,可以将关键词分为两类: 钻相关: 比特币 Fountain(合作伙伴) Poc 社区等 干货相关 文章 笔记 导图(这个是长期霸屏用户使用的title:思维导图实战派_汪志鹏

    1.3K20
    领券