京东商品详情页数据采集+商品优惠券数据采集爬虫代码展示

原创

wx19970108018

发布于 2023-04-24 17:23:41

1.4K0

发布于 2023-04-24 17:23:41

文章被收录于专栏：京东电商平台API接口开发系列

采集场景

打开京东商品详情页（实例网址：https://item.jd.com/10335871600.html#crumb-wrap），采集点击不同的参数（颜色、版本等）后得到的数据（商品编号、价格、主图链接等字段会随着参数变化而变化）。

采集字段

商品标题、颜色、版本、价格、商品名称、商品编号、图片网址等。

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：

JD.item_get获得JD商品详情数据接口代码展示

1.请求方式：HTTP POST GET

2.公共参数：

名称	类型	必须	描述
key	String	是	调用key（必须以GET方式拼接在URL中,调用示例http://c0b.cc/30G0f2 ）
secret	String	是	调用密钥（复制v:Taobaoapi2014 )
api_name	String	是	API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默认yes，将调用缓存的数据，速度比较快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
lang	String	否	[cn,en,ru]翻译语言，默认cn简体中文
version	String	否	API版本

3.请求参数

请求参数：num_iid=10335871600
参数说明：num_iid:JD商品ID

4.请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "https://api-gw.19970108018.cn/jd/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=10335871600"
headers = {
    "Accept-Encoding": "gzip",
    "Connection": "close"
}
if __name__ == "__main__":
    r = requests.get(url, headers=headers)
    json_obj = r.json()
    print(json_obj)

5.响应示例