python 爬虫 scrapy

1、requests 带headers import requests from bs4 import BeautifulSoup headers = { ’ User-Agent ’:’ Mozilla/5 . 0 (Windows NT 6 .1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrorne/53.0.2785 . 143 Safari/537.36 ’ } res = requests.get ( ’ http : //bj . xiaozhu .com/ ’, headers=headers) print (res .text) soup= BeautifulSoup(res.text,’ html.parser ’) print(soup.prettify()) 2、beautifulsoup的4种解析库

image.png

beautifulsoup.find_all soup.find all (’ div ’, attrs={ ” class”:” item” } ) beautifulsoup.selector() p=soup.selector(div.item >a> hl) p.get_text() #中间文字内容 3、 1 example:爬取北京地区短租房信息

image.png

image.png

image.png

2 example:爬取酷狗TOP500的数据

image.png

3 example:爬取斗破苍穹小说

image.png

4 example:爬取糗事百科

image.png

4、re修饰符

image.png

5 xpath

image.png

pip install lxml

from lxml import etree selector=etree.HTML(res.text) id=selector.xpath('//')

image.png

6 5 example:爬取豆瓣图书TOP250的数据

image.png

6 example:爬取起点中文网小说信息

image.png

7 example:爬取PEXELS图片

image.png

image.png

8 example:爬取糗事百科的用户地址信息

image.png

image.png

9 example:爬取豆瓣音乐TOP250的数据

image.png

image.png

image.png

10 example:爬取豆瓣电影TOP250的数据

image.png

image.png

image.png

11　example:爬取简书网热评文章

image.png

image.png

12 example:爬取转转网二手市场商品信息

13 example:爬取简书网用户动态信息

image.png

image.png

14 example:爬取简书网7日热门信息

image.png

image.png

15 example:爬取拉钩网招聘信息

image.png

image.png

16 example:爬取新浪微博好友圈信息

pip install jieba

TAGUL词云制作

image.png

image.png

image.png

image.png

17 example:

image.png

xiaozhuspider.py????

image.png

image.png

18 example:爬取简书网热门专题信息

image.png

image.png

image.png

19 example:爬取知乎网python精华话题

image.png

image.png

image.png

image.png

20 example:爬取简书网专题收录文章

image.png

image.png

CREATE TABLE jianshul (

USER TEXT,

TIME TEXT,

title TEXT,

VIEW TEXT,

COMMENT TEXT,

lik TEXT,

gain TEXT

)ENGINE INNODB DEFAULT CHARSET=utf8;

image.png

image.png

21 example:爬取简书网推荐信息

image.png

image.png

image.png

7 json.loads() x.get()

image.png

8 pymongo c=pymongo.MongoClient('localhost',27017) x=c['username'] x.insert_one({'a':1,'x':2})

mongoexport -d mydb -c test --csv -f name,sex,grade -o test.csv 9 pymysql import pymysql conn=pymysql.connect(host='',user=,passwd=,db=,port=,charaset='') cursor=conn.cursor() cursor.execute('xx') conn.commit() 10 多进程 from multiprocessing import Pool pool=Pool(processes=4) pool.map(func,iterable,[,chunksize]) 11 cookie

image.png

12 jieba词频分析

image.png

13 selenium

driver.implicitly_wait(10)

driver.switch_to_frame()

14 csv.DictReader(fp) for row in reader:

image.png