oeasy玩爬虫001_爬虫开始_http_请求_request_response_响应原创

我们这个爬虫的在线资源呢，在这个蓝桥上面可以搜o easy z空格H5找到这个位置，在这个呃爬虫和搜索引擎里面找到原始爬虫，诶点开146实验就可以开始了，好，我们这次讲什么呢？这次我们来讲爬虫AI时代了，有了大模型了，我们为什么还要爬虫呢？首先呢，我们人类在互联网上的数据已经都被这些模型公司拿去用来训练了。数据差不多的，所以训练数据是非常趋同的，而且呢，对齐的目标就是目标，就是生成正确有效的答案嘛，这个目标也相同，模型之间还会互相蒸馏，你学我，我学你，模型呢就越来越趋同，这些模型都有这样的特点，效率很高，创意很少，一致性很强，比如说我要炒土豆丝，那他就会怎么样标准的，那就说我，我喜欢搁点蚝油行不行啊，他没有，这不属于标准答案，我们要用最快速，最明确，最大大众的食材，诶，所以呢，这到处啊都是正确答案，有效普通，但趋同答案，趋同之后会发生什么呢？变换模型的成本极低，给他一个文字。

生成一段文字，那替换这API不就得了吗？所以底座模型因为素材相同，它的这个目标相同，互相蒸馏，所以很难做出差异化，那差异才是门槛，才是独特性，或者说呃，不可替代性的源泉，你大模型趋同，那差异就在哪儿啊，在独特数据上。大模型能总结出网页，但是它不留这个原始页面，学了爬虫，这样我们可以直接获得原始第一手信息，将网页转成可控的数据资产。诶，有别人没有的数据，这才有不可替代性。大模型回答不出来的这些问题是吧？哎，不依赖这个模型的记忆，根据自己抓取的东西，有自己很独特的一套东西，是大模型没有的东西。整体的趋势一定是硬件越来越便宜，电费越来越便宜，脱看越来越便宜，模型又越来越趋同，真正拉开差距的是你手握的核心的独特的资产。

那怎么才能有呢？我们就得玩爬虫了，怎么爬呢？首先呢，我们用火打开哪儿呢？打开一个本地主机local的host后面加一个语号在后台运行，它说连接失败，连它跟404不一样，404是连接上了，但是我找不着你想要的东西，连接失败是根本就连不上，根本连不上，那连不上怎么办呢？我们就得想辙了，怎么才能连上呢？我们就得用这个。开一个服务，什么服务呢？NX服务。它可以开启这个local hosts本地的这个网页主机。

开了之后，我再看他的status engines running.按照X启动起来，再回来再去刷新这个localhost，注意刷新之前我先F12或者右键把这个检查开了，这儿就开出一个检查器来，检查器这儿有一些选项卡，我们切到网络这选项卡。再去刷新这个网页，刷新还不行，因为这儿有一个S，把这个S去掉。回车。我们会出现看到这底下有两项东西，这两个是什么呢？一个是200，一个是404 200什么意思，它是一个get请求，什么get请求呢？HTTP的get请求。那什么是HTTP呢？HTTP的意思是hypertext transferoc, 超文本传输协议，简单来说就是网上传东西的协议是吧？Get呢，就是拿是吧？从哪儿拿呢？从这个服务器去拿，也就是说火狐浏览器往服务器发送一条请求，发送一条什么请求，发送一条get请求发送了之后呢？服务器接收到了会怎么样呢？

会进行响应啊。你有请求就有什么呀，有响应，注意这儿是有一个请求头，请求头request，诶我是什么浏览器呀，哎，我要的是是。是什么网址啊，我当前有没有登录啊，这些东西都在请求头里发过去。然后请求头发过去之后，服务器也得说呀，哎，我告诉你现在这是几点，哎，然后我上次修改是什么时候，整个这个文件长度是多少，那我就给你返回去呗。比如说我们现在想访问百度，诶这是客户机上有浏览器，里面打百度的网址，去百度服务器看哦，你要的是首页是吧？好，我给你首页，哎不但把这首页给你，请求的时候有请求投，哎响应的时候响响应投，就跟这个发信的信封一样。

有这个请求request和响应response，那请求也发过去了，响应也得回来了，就会获得一个状态码200 200的意思是说我发过去请求得到了响应，这个响应是正确的，200的意思是OKOK，我们可以点开之后看看这200 OK.在火狐里边儿是怎么解释的，成功响应是吧，这个get请求已经成功响应了。那那除了200还有什么呢？再点回这个位置，刚才我已经访问过一次了，再去刷新之后会怎么样？200消失了，变成什么呢？变成304，什么是304呢？注意这个位置304的意思是not modified, 那什么是not modified呀？没修改。哎，为什么刚才是OK的，现在就改成未更改了呢？那我们还就得看看这个请求头跟响应头是吧？请求头发出的是什么？

哎，发出的是我要看的是这个网网址，但是我上次是什么时候更新的呢？上次我是这个日期更新的是吧，然后服务器一看，哦，上次你是这个日期更新，那我现在的这个版本啊，呃，在你上次的这个last modified之后没有新更新，你不用再从头拿这么100多个字节了，不用那么麻烦，你就用原来的就行了，我不给你重发了，你就用原来的就行，所以呢，它的响应头是364是吧，364。那除了304是不是还有1404啊。这404咱们都知道，就找不到这个not found没找着。诶，他为什么会没找着呢，因为你没有这个东西，你logohost里面你要找一个oec.h怎么样。那肯定是404啊，对吧，你访问的这个资源是没找着的，这个404的资源，这个东西叫什么呢？这个东西就叫状态码什么的，状态码是HTB响应的状态码。

HTTP响应的状态码，我还想要200，那怎么办？我找一个50X 50X再一回车，这是要200状态码是什么状态码呢？是响应的状态码。响应是什么呢？是请求之后得到的响应，整个这个请求响应叫什么呢？叫HTTP协议，HTTP是什么意思来着？Hypertext超文本传输协议，所以超文本呢，就不光是看网页，你还可以看音频是吧，看图片都基于这个。那这个状态码它是哪年有的呢？1996年的时候。RFC1945RFC就是征求意见稿chst for comments啊请求，这也是发请求的啊，对词的请求，你给我发个评论吧，是吧，诶有什么评论等等，那谁在征求意见呢？这是IETFIETF里边的因特网协会提出来了，对所有使用互联网的用户征求意见，那他把这HTP协议最初是吧定下来了，那你后来的这些浏览器，那不就得根据这协议走吗？

啊，就得按照这协议执行了，那这个它就会有404，也会有200，这次呢，我们先启动了NGX服务器，启动了之后呢，我们就可以对服务器发送请求，请求是request返回的呢，是响应呢，就有它的状态码，Response的状态码。但是呢，我们是用浏览器正常浏览网页，怎么使用爬虫呢？我们下次再说o ez教程。