Python爬取淘宝商品信息（全网商品详情数据，商品列表，商品销量，商品优惠券等）

一、淘宝商品信息爬取 这篇文章主要是讲解如何爬取数据，数据的分析放在下一篇。之所以分开是因为爬取淘宝遇到的问题太多，而猪哥又打算详细再详细的为大家讲解如何爬取，所以考虑篇幅及同学吸收率方面就分两篇讲解吧！宗旨还会不变：让小白也能看得懂！ 本次爬取是调用淘宝 pc 端搜索接口，对返回的数据进行提取、然后保存为 excel 文件！

二、爬虫单页数据

1. 查找加载数据 URL

我们在网页中打开淘宝网，然后登录，打开 chrome 的调试窗口，点击 network，然后勾选上 Preserve log，在搜索框中输入你想要搜索的商品名称

这是第一页的请求，我们查看了数据发现：返回的商品信息数据插入到了网页里面，而不是直接返回的纯 json 数据！

直接返回一个链接而 不是 json 数据，这个链接是什么鬼？点一下。。。

铛铛铛，滑块出现，有同学会问：** 用 requests  能搞定淘宝滑块吗？咨询过几个爬虫大佬，滑块的原理是收集响应时间，拖拽速度，时间，位置，轨迹，重试次数等然后判断是否是人工滑动。而且还经常变算法，讨论出一个封装接口的方式解决滑块，接口代码如下：

1.请求方式：HTTPS  GET  POST  ；请求链接：http://c0b.cc/30G0f2

2.公共参数：

3.请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "https://api-gw.19970108018.cn/taobao/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=652874751412&is_promotion=1"
headers = {
    "Accept-Encoding": "gzip",
    "Connection": "close"
}
if __name__ == "__main__":
    r = requests.get(url, headers=headers)
    json_obj = r.json()
    print(json_obj)

4.响应示例

5.代码报错说明