Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >电商网站商品价格获取方法_电商网站

电商网站商品价格获取方法_电商网站

作者头像
全栈程序员站长
发布于 2022-11-10 06:26:05
发布于 2022-11-10 06:26:05
3K00
代码可运行
举报
运行总次数:0
代码可运行

大家好,又见面了,我是你们的朋友全栈君。

电商网站商品价格获取

本文以苏宁易购,京东,两个电商网站,模仿说明电商网站商品价格的两种获取方法。

json形式存放,京东商品的价格以json形式存放,以以下页面为例

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
https://item.jd.com/100000287133.html

明显价格数据并非放在前端页面里,搜索找到以下数据

查看当前的url

在浏览器中请求

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
https://p.3.cn/prices/mgets?callback=jQuery6054119&type=1&area=6_303_36780_0&pdtk=&pduid=1588655612&pdpin=&pin=null&pdbp=0&skuIds=J_100000287133%2CJ_5416604%2CJ_100001477751%2CJ_4741808&ext=11100000&source=item-pc

通常来说call_back包含的内容可以直接去除,将链接处理后得到

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
https://p.3.cn/prices/mgets?skuIds=J_100000287133
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
skuIds=J_100000287133 

#分析即可发现j_后的字符串为商品ID,对应商品详情页的链接 请求结果如下:

接下来,填充主程序。仅作为示例代码,详情数据重新处理

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import scrapy
import json
class JgSpider(scrapy.Spider):
name = 'jg'
allowed_domains = ['shouji.jd.com','p.3.cn'] #需说明的是在价格详情内域名发生了变化
start_urls = ['https://item.jd.com/100000287133.html']
def parse(self, response):
item = { 
}
contain= response.xpath("//div[@class='product-intro clearfix']")
item["title"] = contain.xpath("./div[@class='itemInfo-wrap']/div[@class='sku-name']/text()").extract_first().strip()
item["sku_num"] = contain.xpath(".//a[@class='notice J-notify-sale']/@data-sku").extract_first()
item["price_href"]='https://p.3.cn/prices/mgets?&skuIds=J_{}'.format(item["sku_num"])
yield scrapy.Request(
item["price_href"],
callback=self.price_detail,  #获取价格
meta={ 
"item":item}
)
def price_detail(self ,response):
item = response.meta["item"]
item["price"] =json.loads(response.body.decode())[0]["p"] #json数据遍历方法
print(item)

需要说明的几点:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
allowed_domains = ['shouji.jd.com','p.3.cn'] #需说明的是在价格详情内域名发生了变化
item["price_href"]='https://p.3.cn/prices/mgets?&skuIds=J_{}'.format(item["sku_num"]) #也可直接拼接

代码运行结果如下:

苏宁易购商品价格获取,与淘宝的逻辑相似存放在主页面但需要正则匹配获取。

同样以具体的某些页面为例:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
https://product.suning.com/0070091633/10717510914.html?safp=d488778a.10038.resultsRblock.12&safc=prd.3.ssdln_502687_pro_pic01-1_0_0_10717510914_0070091633

用同样的方法找到价格

填充主程序代码:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import scrapy
import re
class SnSpider(scrapy.Spider):
name = 'sn'
allowed_domains = ['suning.com']
start_urls=['https://product.suning.com/0070091633/10717510914.html?safp=d488778a.10038.resultsRblock.12&safc=prd.3.ssdln_502687_pro_pic01-1_0_0_10717510914_0070091633']
def parse(self, response):
pr=re.findall('"itemPrice":"(.*?)",',response.body.decode())
print(pr)

运行结果如下

以上就是主流电商网站的商品价格获取方法,希望对大家的学习工作有所帮助。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/187017.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年10月1日 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
IIS - 远程代码执行漏洞
开启WebDAV服务的IIS 6.0被爆存在缓存区溢出漏洞导致远程代码执行,目前针对Windows Server 2003 R2可以稳定利用,该漏洞最早在2016年7,8月份开始在野外被利用。
渗透攻击红队
2019/11/20
2.5K0
IIS - 远程代码执行漏洞
操作系统漏洞验证及加固
漏洞利用,(service postgresql start启动msf数据库 )通过msfconsole命令启动matesploit漏洞渗透平台。通过search ms08_067模块进行利用。
菜菜有点菜
2022/03/16
3.2K0
操作系统漏洞验证及加固
提权(2) windows权限分析
00x1 windows常见的用户 System 本地机器上拥有最高权限的用户 Administrator 基本是本地机器上拥有最高权限的用户了。 很多朋友一直不明白administrator和System的区别。 system是系统的权限,至少一些注册表的值administrator都读不了,而拥有system权限却可以做到。比如:Windows系统的账号信息,是存放在HKEY_LOCAL_MACHINE\\SAM里的,但是直接打开注册表想去修改却并不能打开它,哪怕你是管理员权限都不行。 因为为了
lonelyvaf
2018/06/07
2.1K0
【权限提升】windows平台-提权项目&MSF&CS&溢出漏洞
Windows系统内置了许多本地用户组,这些用户组本身都已经被赋予一些权限(permissions),它们具有管理本地计算机或访问本地资源的权限。只要用户账户加入到这些本地组内,这回用户账户也将具备该组所拥有的权限。
没事就要多学习
2024/07/18
5140
【权限提升】windows平台-提权项目&MSF&CS&溢出漏洞
方程式最新漏洞工具推送
Shadow Brokers再次泄露出一份震惊世界的机密文档,其中包含了多个精美的 北京时间 2017 年 4 月 14 日晚,“Shadow Brokers” 终于忍不住了,在推特上放出了他们当时
用户1631416
2018/04/12
9730
方程式最新漏洞工具推送
WinXP的MS08-067漏洞利用复现和解决方案
本期文章由华章IT赞助,未经允许,禁止转发,本篇笔记内容来源于书籍《kali Linux 高级渗透测试》,如有需要,可以购买阅读。
天钧
2020/08/24
2.6K0
WinXP的MS08-067漏洞利用复现和解决方案
如何快速有效的进行大规模常规端口渗透
开始正式的说明之前,我们不妨先来简单了解下 telnet,这也是到目前为止,个人认为最靠谱的 tcp 端口扫描工具,没有之一。
iMike
2019/07/17
3.3K0
如何快速有效的进行大规模常规端口渗透
红队第7篇:IIS短文件名猜解在拿权限中的巧用,付脚本下载
为了能在红队项目中发现更多的打点漏洞,我曾经花了不少精力,把那些大家觉得不重要的中低危漏洞拿来研究一下,发现有几个漏洞还是很有利用价值的,比如说,“IIS短文件名猜解漏洞”。这个漏洞有以下这么几个特点:1、危害等级是中低风险。2、在当前网站应用中还广泛存在。3、微软官网不太认可这个漏洞,不出补丁。4、很多客户也选择不修复。5、漏洞利用起来极其困难,需要很大的耐心和毅力。但是我借助此漏洞间接拿权限成功了很多次,还是有很多技巧在里面的,下面分享一下详细过程。
ABC_123
2022/07/01
1.2K1
红队第7篇:IIS短文件名猜解在拿权限中的巧用,付脚本下载
ATT&CK实战系统-红队实战(一)
很久之前放到收藏夹里的红日靶机,之前总想着汇总一下打一打,但是硬盘没有太大空间就没有去下载搭建(其实就是懒),最近写毕设的过程中无聊换换脑子来打一打。
用户2700375
2023/01/30
8530
ATT&CK实战系统-红队实战(一)
利用WinPE在公有云≥2G内存的Win2008R2机器上安装2003系统
在≥2G内存的2008/2012/2016的公共镜像系统上安装2003,请确保系统盘没有业务数据
Windows技术交流
2019/12/31
5K24
谈谈渗透测试中的信息搜集
最近找了一份安全实习,每天对着目标站点进行渗透测试。渗透测试的第一步是信息搜集,那么你的信息搜集完整性决定了你渗透测试的结果,”知己知彼,百战不殆”,在此,我分享下我信息搜集的一些经验。
FB客服
2018/08/21
2K0
谈谈渗透测试中的信息搜集
HW弹药库之红队作战手册
上个月5月9号发了两个HW红方弹药库的,今天再来发一个红队作战人员手册,我大概看了看手册里面的exp零组文档包含了很多,
天钧
2020/06/19
8.1K0
内网漏洞探测扫描 - 信息搜集篇 - 渗透红队笔记
当我们拿到了一台网络边界的时候,我们发现内网里还有很多台设备,比如邮件服务器,数据库服务器等等,我们可以通过网络边界做跳板对内网进行深层次的漏洞扫描。
渗透攻击红队
2020/11/25
4.7K0
内网漏洞探测扫描 - 信息搜集篇 - 渗透红队笔记
信息打点-主机架构&蜜罐识别&WAF识别&端口扫描&协议识别&服务安全
Apache、Nginx(反向代理服务器)、IIS、lighttpd等 Web服务器主要用于提供静态内容,如HTML、CSS和JavaScript等,以及处理对这些内容的HTTP请求。Web服务器通常使用HTTP协议来与客户端通信,以便在浏览器中呈现网页。一些常见的Web服务器软件包括Apache、Nginx和Microsoft IIS等。
没事就要多学习
2024/07/18
3120
信息打点-主机架构&蜜罐识别&WAF识别&端口扫描&协议识别&服务安全
记一次艰难渗透总结(详细记录)
声明:该公众号大部分文章来自作者日常学习笔记,也有少部分文章是经过原作者授权和其他公众号白名单转载,未经授权,严禁转载,如需转载,联系开白。请勿利用文章内的相关技术从事非法测试,如因此产生的一切不良后果与文章作者和本公众号无关。 服务器:win2003 中间件环境:iis6.0,sql server 2000 网站编写:asp 服务器ip:192.168.1.xx 开放端口:80 0x02 所用方式 Sql注入 IIS6.0 解析漏洞 一句话图片码 Sql server 2000 sa密码猜解 xp_
潇湘信安
2021/03/10
8880
Kali Linux 网络扫描秘籍 第五章 漏洞扫描
尽管可以通过查看服务指纹的结果,以及研究所识别的版本的相关漏洞来识别许多潜在漏洞,但这通常需要非常大量时间。 存在更多的精简备选方案,它们通常可以为你完成大部分这项工作。 这些备选方案包括使用自动化脚本和程序,可以通过扫描远程系统来识别漏洞。 未验证的漏洞扫描程序的原理是,向服务发送一系列不同的探针,来尝试获取表明漏洞存在的响应。 或者,经验证的漏洞扫描器会使用提供所安装的应用,运行的服务,文件系统和注册表内容信息的凭证,来直接查询远程系统。
ApacheCN_飞龙
2022/12/01
5.8K0
Kali Linux 网络扫描秘籍 第五章 漏洞扫描
混在运维部的安全员说“端口与口令安全”
1. 前言 先简单自我介绍一下,其实,我是一个安全工程师。现就职于某互联网金融企业负责公司整体网络安全。 刚到公司时首先是了解一些企业规则和规则制定者,当然了我的工作主要是安全。初来乍到,先了解下公司的IT资产,收集完IT资产后,做一个IP资产开放端口的梳理,端口信息的收集这是一个很重要的过程,因为渗透实战中对端口的渗透是常用手段。 端口收集过程中关注几个问题: 1. 常见应用的默认端口 2. 端口的banner信息 3. 端口上运行的服务
FB客服
2018/03/26
1.9K0
混在运维部的安全员说“端口与口令安全”
内网域渗透靶场学习一
这样配置的话就网络环境就会和topo图表示的一致,win7是边缘主机,连接着内网同时还有对外的公网ip搭建着web服务,所以多添加一张网卡来划分。
yulate
2023/05/02
1.1K0
内网域渗透靶场学习一
渗透测试思路整理
有些时候渗透测试搞着搞着就陷入了无解状态,不知道再从哪儿下手了 故对渗透测试思路做个整理,后续有新的见解持续更新
中龙技术
2022/09/29
2K0
渗透测试思路整理
CVE-2019-0708漏洞检测利用
Windows系列服务器于2019年5月15号,被爆出高危漏洞,该漏洞影响范围较广,漏洞利用方式是通过远程桌面端口3389,RDP协议进行攻击的。这个漏洞是今年来说危害严重性最大的漏洞,跟之前的勒索,永恒之蓝病毒差不多。
Gamma实验室
2020/12/23
1.5K0
CVE-2019-0708漏洞检测利用
推荐阅读
相关推荐
IIS - 远程代码执行漏洞
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验