首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python 抓取公众账号信息

搜狗搜索提供两种类型的关键词搜索,一种是搜索公众文章内容,另一种是直接搜索公众。...通过公众搜索可以获取公众的基本信息及最近发布的10条文章,今天来抓取一下公众的账号信息( 爬虫 首先通过首页进入,可以按照类别抓取,通过“查看更多”可以找出页面链接规则: import requests...= 200: break 上面代码通过加载更多页面获取加载列表,进而从其中抓取公众详情页面: reProfile = r'<li id[\s\S]*?...= 200: continue 进入详情页面可以获取公众的名称/ID/功能介绍/账号主体/头像/二维码/最近10篇文章等信息: 大家在学python的时候肯定会遇到很多难题,以及对于新技术的追求...这次本打算用抓取公众信息基于 Sanic 做一个简单的交互应用,但无奈目前还没有加入模板功能,异步的 redis 驱动也还有 BUG 没解决,所以简单尝试了一下之后还是切换回 Flask + SQLite

2.7K10

公众信息抓取方法(一)——抓取公众历史消息列表数据

如何抓取公众的文章 一、介绍 研究抓取之前, 看过知乎有大神写的比较完善的例子, 受到启发, 才完成了整个公众抓取公众内容的批量采集与应用 抓取的难点: 1....无法获取到公众信息(并没有提供列表) 2. 无法脱离客户端获取公众历史消息页面 3....可以获取到文章内容页但是脱离客户端后无法获取到点赞、阅读数据 所以, 流程中的一部分是依赖于手机客户端的, 如果要大量抓取公众信息,就必须依靠大量客户端抓取(自己准备手机、信号、电费、和人工)..., 简单学过一些, 不过使用的anyproxy, 还是会出现一些无法解决的问题, 无法适用于长期采集 python3.5+ mitmproxy 其他用到的包插件 二、抓取基本的应用规则 单个客户端公众历史消息列表页...——访问公众历史列表页面——抓取到第一页的文章列表数据以及cookie信息——其他脚本抓取点赞、阅读、评论和小程序信息 四、教程开始 1.

13K32
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python轻松抓取公众文章

    今天继续向 Python 头条添加数据信息,完成了的爬虫,接下来会继续通过搜狗的知乎搜索抓取知乎上与 Python 相关的文章、问答。...公众的文章链接有些是具有时效性的,过一段时间会变成参数错误而无法访问,但是我们发现从公众后台点击过去得到的链接却是永久链接,其参数不会改变链接也不会失效,也就是说只要能够获得这些参数就可以得到永久链接...通过观察发现即使从搜狗搜索入口的有时效性的链接访问网页,其源码中也带有这些参数: 图片_20211214110312.png 所以只要解析这几个参数,就可以构造出永久链接。...type=2&query=Python&page={}" 提取链接、标题和摘要信息: import requests as req import re rInfo = r'', '', s) 然后根据时效性链接获取文章内容,并从中提取参数信息: from html import unescape from urllib.parse import urlencode ​

    1.9K31

    用pywinauto抓取公众

    本文内容在于讨论用pywinauto 如何获取控件的问题,欢迎各位大牛指点迷津。 1 pywinauto pywinauto是个在PC端可以使用的自动化测试框架,感谢作者提供这么好的框架。...win.Edit.type_keys('{ENTER}') # 返回文本框 win.Edit.Texts() print(win.Edit.Texts()) 但是如果你操作PC端【...我已经确信,【】控件采用了某种方法屏蔽了,我不知道如何才能获取这些控件,然后操作它? 我的是新版本 3.6.0.18 如果你知道欢迎一起讨论。...title="搜索", control_type="Edite") return btn 以上代码失败了,没有找到控件,但是通过inspect 可以查询到了,我就是奇怪了 3 如何获取控件列表呢...wx.get_search_btn(110,41,"阿里云")#采用鼠标定位 wx.double_click(86,100)#找到这个公众,我就双击一下 btn = wx.win.child_window

    1.4K10

    python抓取公众文章系列2

    难点 公众历史的所有文章(来源???) 每篇文章的阅读量和点赞量(电脑上浏览文章只显示内容,没有阅读量、点赞量、评论……) 突破难点一 搜狗搜索,可以搜索公众文章。...user="你的公众账号" #公众密码 password="你的公众密码" #设置要爬取的公众列表 gzlist=['要爬取的公众名字'] #登录公众,获取登录之后的cookies信息...#搜索公众接口需要传入的参数,有三个变量:公众token、随机数random、搜索的公众名字 query_id = { 'action': 'search_biz...,获取登录之后的cookies信息,并保存到本地文本中 weChat_login() #登录之后,通过公众后台提供的公众文章接口爬取文章 for...,中文可能会搜出来多个,这里做的是精确搜索只搜出来一个,查看公众英文号,只要在手机上点开公众然后查看公众信息 防盗链 公众对文章中的图片做了防盗链处理,所以如果在公众和小程序、PC浏览器以外的地方是无法显示图片的

    4K51

    python抓取公众文章系列3

    发现了一个非常有用的库 wechatsogou,听个名字你就大概能猜出是什么来的了,基于搜狗搜索的公众爬虫接口,有了这个就可以玩起来了。...需要安装 wechatsogou 这个库,pip install wechatsogou安装即可 1.1 搜索公众信息 import wechatsogou # 导入库 ws_api = wechatsogou.WechatSogouAPI...链接是临时链接,也就是说,这个链接会失效 headimage 就是我公众的头像; wechat_id 是我公众 id; qrcode 是公众二维码的链接; introduction...1.2 公众文章 代码如下 import wechatsogou ws_api = wechatsogou.WechatSogouAPI() print(ws_api.search_article...", "https": "127.0.0.1:8888", }) # 如 设置超时 ws_api = wechatsogou.WechatSogouAPI(timeout=0.1) 获取特定公众信息

    3.3K31

    公众信息抓取方法(二)——抓取文章点赞、阅读、评论、小程序信息

    上一篇文章文章将cookie信息保存到redis中, 则这一节主要是取出cookie, 并且构造方法去获取文章的点赞、阅读、评论、小程序信息, 而且不会访问文章内容页, 防止被认为是刷阅读数而封号,...LIKE_HEADERS_PREFIX_KEY') + str(uin)).pop() _task = self.get_task() # 获取任务列表, 也就是获取cookie,biz等信息..._appmsg_token = _task.get('appmsg_token') wechatInfo = self.getBizInfo(_biz) # 获取公众信息...requests.get(_url, timeout=10) body = _requests.text except: logger.error(__('抓取小程序信息失败...try: body = requests.get(_url, headers=headers, timeout=10) if re.compile(r'请在客户端打开链接

    5.9K41

    公众-公众介绍

    一、账号介绍 个人:普通用户之间的交流和通讯 公众公众主要面向名人、政府、媒体、企业等机构推出的合作推广业务。...在这里可以通过渠道将品牌推广给上亿的信用户,减少宣传成本,提高品牌知名度,打造更具影响力的品牌形象 区别: 公众和个人是完全不同的 对个人的定位是普通用户之间的交流和通讯,并不鼓励和支持使用个人进行营销推广...(曾经大规模封杀好友过多的营销个人公众则完全是为品牌推广、信息推送等服务而定制的。...不过针对不同类型的公众提供的功能不同,资质要求也不一样 公众公众平台: 公众平台:公众平台是运营者通过公众号为信用户提供资讯和服务的平台,而公众平台开发接口则是提供服务的基础,开发者在公众平台网站中创建公众...公众平台https://mp.weixin.qq.com/ 可以用来注册、管理公众 认证:认证是公众平台为了确保公众帐号的信息的真实性、安全性,目前提供给公众服务进行认证的服务

    9.1K20

    公众-公众推广

    使用该接口可以获得多个带不同场景值的二维码,用户扫描后,公众可以接收到事件推送 目前有2种类型的二维码: 临时二维码 有过期时间的,最长可以设置为在二维码生成后的30天(即2592000秒)后过期...为临时的整型参数值,QR_STR_SCENE为临时的字符串参数值,QR_LIMIT_SCENE为永久的整型参数值,QR_LIMIT_STR_SCENE为永久的字符串参数值 action_info 二维码详细信息...www.zutuanxue.com/home/8/%s' />"%(qrcodeurl)) 浏览器测试: 二、扫描二维码 用户扫描带场景值二维码时,可能推送以下两种事件: 如果用户还未关注公众...,则用户可以关注公众,关注后会将带场景值关注事件推送给开发者 如果用户已经关注公众,则会将带场景值扫描事件推送给开发者 用户还未关注公众 xml数据包 ...[CDATA[TICKET]]> 用户已经关注公众 xml数据包 <!

    8.9K11

    公众借用别的公众支付配置

    借用其他账号支付之前,要确保要借用公众支付已开通;并且要借用支付的公众可以添加支付授权目录、安全域名、授权域名和IP白名单;满足支付条件的账号(包括认证的服务、认证的政府与媒体类订阅...第一步、 在满足以上条件的情况下,登录微管家平台,进入管理后台,点击左侧菜单的【在线支付设置】 ,支付开关开启后,选择【其他账号支付】;在点击【配置信息】--【新版支付】 (现在开通的支付都是新版的...APPID和APPsecret在公众平台查看,若借用的是其他账号的支付,则填写这个开通支付的公众的APPID和APPsecret ;商户和API密钥需登录商户平台查看设置 ,配置后点击确定即可保存...第五步、使用开通支付公众登录公众平台,点击左侧菜单的设置-》公众设置-》功能设置,添加安全域名、授权域名为:weixin.gycode.com ?...第六步、开通支付的公众登录公众平台,点击左侧菜单 开发-》基本配置,添加IP白名单:115.28.49.127 ? 以上参数都配置成功后即可使用借用支付。

    18.8K20

    公众公众开发——Werobot入门指南

    服务器部署 验证服务器有效性 实验效果 补充 Werobot简介 Werobot项目地址(作者:whtsky):链接 WeRoBot 是一个公众开发框架,采用MIT协议发布。...个人订阅无法使用自定义菜单开发接口!需要认证! 个人订阅无法使用自定义菜单开发接口!需要认证! 然而,个人名义的订阅无法进行认证,所以开发的热情一下子丢了一半。...申请公众 申请公众是一个必要的步骤,没有什么特别需要注意的地方,不过要清楚不同的公众类型所拥有的权限是不同的: ?...一般来说,如果你的服务器只有一个后台服务,请使用80端口! 如果你是https,请使用443端口! 注意到我的token是随机自己设置的,规定是3位以上数字字母。...,token=‘yzd’,点击确定,会自动发送一个确认信息到你的服务器,一旦成功返回正确结果,验证就成功了。 ? 实验效果 现在,你可以用手机给订阅发消息: ?

    22K21

    公众开发之公众

    支付-支付方式.png 刷卡支付 由于没有设备暂不出相关文章(可以提供设备支持的请联系我) APP支付 需要在开放平台申请开发应用,没有申请的相关质料如果有机会后面会讲到 公众支付 已实现...支付-支付工具.png 代金券或立减优惠 待完成 现金红包 已实现 项目源码 企业付款 已实现 项目源码 开源项目中如何实现公众支付 项目下载启动运行参考之前写的文章 项目导入IDE并启动运行...问这个问题的人一般是没有做认证或者说你负责的公众认证不是你亲力亲为的。 商户平台登录的账号密码是在认证审核成功之后团队会以邮件的方式发送到你的邮箱 ?...支付-公众支付参数.png 其中商户号为: ? 支付-商户.png 密钥设置 ?...支付-公众支付 由于开启了调试模式,加载出此页面之前会提示JSSDK签名是否成功,成功之后输入金额点击提交就会调用JavaScript 中 wxpay 方法ajax去统一下单生成预付订单 输入密码支付完成支付

    8.7K20

    公众-接口

    接入微公众平台开发,开发者需要按照如下步骤完成: 填写服务器配置 验证服务器地址的有效性 依据接口文档实现业务逻辑 填写服务器配置 说明:现在选择提交肯定是验证token失败,因为还需要完成代码逻辑...注意:如果没有注册公众,也可以利用测试平台完成上述过程(在开发过程中建议使用测试账号,待真实上线时使用自己真实的公众即可) 测试平台:http://mp.weixin.qq.com/debug/cgi-bin...t=sandbox/login 验证服务器地址的有效性 开发者提交信息后,信服务器将发送GET请求到填写的服务器地址URL上,GET请求携带四个参数 原理 开发者通过检验signature对请求进行校验...sha1加密 开发者获得加密后的字符串可与signature对比,标识该请求来源于 搭建Django服务 创建Django工程并添加应用 修改配置文件settings.py ALLOWED_HOSTS...自有公众开发: 测试平台:

    12.3K10

    调试公众获取用户信息

    前言 本文,我们来聊聊,怎么在公众中获取到信用户的信息呢?并且,我们怎么在本地进行调试?下面我们就这两点,展开来说。...: 提示我们并没有登陆,现在我们登陆下: 为了测试公众的内容,我们还需要注册一个测试的。...当然,如果你已经有一个现成的公众,你可以忽略该内容 进入 公众平台测试账号系统 进行扫码登录。...***,并且在测试平台上网页服务 - 网页账号 - 网页授权获取用户基本信息上配置好网页的域名,这里是 192.168.***.***:3000。...后话 对公众的开发还是中规中矩。但是需要留意的几点是: 申请测试公众,并关注 填写域名为 ip + 端口号 开发者平台使用 ip 地址访问网页 Ok,Finish!下次见~

    1.6K10

    公众发布提醒(公众模板消息接口)

    获取路径是:公众后台 → 开发 → 基本配置。...③ 网页授权域名 用户在网页授权页同意授权给公众后,会将授权数据传给一个回调页面,回调页面需在此域名下,以确保安全可靠。...4、添加开发者 只有已添加的开发者,才可以使用web开发者工具进行对应公众的开发和调试。 添加开发者页面的访问路径是:公众后台 → 开发 → 开发者工具 → web开发者工具。...官方参考文档解读 关于公众的开发技术,及其实现路线,在官网中均有介绍。...privilege 用户特权信息,json 数组,如沃卡用户为(chinaunicom) unionid 只有在用户将公众绑定到开放平台帐号后,才会出现该字段。

    12K30
    领券