python web scraper我做错了什么？
Python web scraper是一个用Python编写的网络爬虫工具，用于自动化地从网页中提取数据。它可以模拟人类用户在网页上的操作，例如浏览网页、点击链接、填写表单等，然后提取所需的数据。
在开发Python web scraper时，可能会犯以下一些常见错误：
- 未正确处理网页的动态内容：有些网页使用JavaScript或AJAX等技术加载数据，如果仅仅使用静态的网页内容进行爬取，可能无法获取到完整的数据。解决方法是使用工具或库，如Selenium或Scrapy-Splash，来模拟浏览器行为，获取动态加载的数据。
- 未设置合适的请求头信息：有些网站会检查请求头信息，如果请求头不符合其要求，可能会拒绝访问或返回错误的数据。为了模拟真实的浏览器请求，需要设置合适的User-Agent、Referer等请求头信息。
- 未处理网页解析错误：在解析网页时，可能会遇到HTML结构变化、元素不存在等问题，导致解析出错。为了提高爬取的稳定性，可以使用异常处理机制来捕获和处理这些错误，确保程序的健壮性。
- 未遵守网站的爬虫规则：有些网站对爬虫有限制，如设置了robots.txt文件、使用了验证码等。在爬取网站数据之前，应该先了解网站的爬虫规则，并遵守这些规则，以避免被封禁或引起法律问题。
- 未使用合适的代理IP：如果频繁地对同一个网站进行爬取，可能会被网站封禁IP。为了避免这种情况，可以使用代理IP来隐藏真实的IP地址，轮换使用不同的IP地址进行爬取。
总之，开发Python web scraper需要注意处理动态内容、设置合适的请求头信息、处理解析错误、遵守爬虫规则和使用代理IP等方面的问题。通过合理的设计和实现，可以实现高效、稳定地爬取网页数据。
相关·内容
我希望这是一个非常简单的问题:有没有人知道可以有效地抓取使用Microsoft Matrix构建的站点的工具？我可以用python编写代码，但这会花费我很长的时间来完成这项任务，这是因为Matrix生成的HTML非常糟糕和丑陋。
我试过Web Harvey、Helium Scraper，也试过Chrome的Web Scraper插件。WebHarvey在超文本标记语言上卡住了，无法加载后续页面。the能够从一个详细信息页面移动到另一个详细信息页面(后续链接被跟踪)，但详细信息页面中的内容没有被取消。Chrome plugin web scraper无法导航链接，弹出窗口显示错误页面。我的直觉告
浏览 0提问于2015-07-20得票数 2
我目前正在创建一个Django应用程序，它应该一启动就运行web抓取代码，然后通过REST对请求进行响应。它的要求是它必须在Docker上运行，这给我带来了以下问题:当使用docker-复合映像时，正在正确构建映像，db服务运行，但是我得到一个错误，它说我的DB中的关系不存在。我可以通过运行docker-compose run [service] manage.py migrate来纠正这个问题，但是这是一种手动解决方案，当有人从git复制应用程序并试图通过docker-compose up运行它时，它将无法工作。
我在我的docker-compose.yml中使用了docker-compos
浏览 0提问于2018-10-12得票数 0
回答已采纳
我正在尝试学习如何使用Selenium自动化web流程，并希望能够构建健壮的web抓取器和其他东西。所以，我刚刚安装完Pycharm和Selenium，我只是想运行一段简单的代码，在chrome中打开一个网页，并不是太花哨。我的代码如下(当然是用Python编写的)
from selenium import webdriver
PATH = "/Users/Kudzie/Tools/chromedriver"
driver = webdriver.Chrome(PATH)
driver.get('https://orbitrevolution.tech')
浏览 31提问于2021-05-18得票数 0
回答已采纳
3回答
我是一个尝试用我的python3代码使用Docker的初学者。这是我的Dockerfile
FROM rdempsey/python-scraper:latest
ADD soj.py/
RUN pip3 install urllib.request
CMD [ "python", “./soj.py” ]
我得到了这个错误：
manifest for rdempsey/python-scraper:latest not found
所以我假设我需要执行这个Docker pull命令：
docker pull rdempsey/python-scraper
为了访问这个公
浏览 9提问于2017-05-10得票数 1
我有一个web刮刀脚本，它在我的(Windows) PC上运行良好，但我试图让它从一个(Linux) web服务器上运行。我有许多其他脚本在服务器上运行良好(连接到与此不同的网站)，但是当我运行这个脚本时，我会得到一个[Errno 111] Connection refused错误。
下面是这个脚本的一个最低版本来演示这个问题：
import time
import requests
import urllib.request
from bs4 import BeautifulSoup
s = requests.Session()
target = "http://taxsearc
浏览 3提问于2019-03-31得票数 8
我在windows 10上，我正在尝试向一个分支文件中添加一些更改。
我要去：
git add aws_ec2_list_instances.py
当我获得git状态时，没有添加任何内容：
$ git status
On branch python
Changes not staged for commit:
(use "git add <file>..." to update what will be committed)
(use "git restore <file>..." to discard changes in wo
浏览 3提问于2019-12-18得票数 2
回答已采纳
每当我在终端中打印被刮过的数据时，它都会显示被刮过的数据，但是每当我尝试使用Python提供数据时，我使用的HTML模板就不会在web浏览器中呈现数据。如果你能帮我修复这段代码。
Python (水瓶)文件：
from flask import Flask, render_template
from bs4 import BeautifulSoup as BS
import requests
src = requests.get('https://webscraper.netlify.app/').text
scraper = BS(src, 'lxml'
浏览 16提问于2022-02-09得票数 -1
1回答
我想使用Python 3创建一个web抓取应用程序。我正在努力刮的网站包含无效的xhtml，因为它有带有重复属性名的标记。
我想使用xml.dom.minidom来解析获取的页面。由于重复的属性名称，内容不解析，因此出现以下错误：
Traceback (most recent call last):
File "scraper.py", line 45, in <module>
scraper.list()
File "scraper.py", line 34, in list
dom = parseString(respon
浏览 4提问于2015-08-09得票数 2
回答已采纳
我在我的Raspberry PI上运行Ubuntu Mate。我用Python编写了一个web 刮板，我想每天运行一次。我认为使用sudo crontab -e是一种很好的方法。我遇到的问题是，当cronjob启动我的python脚本时，python脚本抛出一个导入错误而不运行。但是，当我从命令行直接执行python脚本时，它将运行而不会出现问题。
我读到一些人使用shell脚本来启动python脚本，所以我也尝试了。同样，当我直接从命令行执行shell脚本时，它可以正常工作，但在由cronjob执行时不起作用。
为了测试目的，现在我有一个cronjob来执行每一分钟，直到我弄清楚到底发生了什
浏览 1提问于2017-03-18得票数 0
回答已采纳
我有一个类似于此的文件夹结构(我的示例包含所有必需的部分)：
web-scraper/
scraper.py
modules/
__init__.py
config.py
website_one_scraper.py
其中config.py只存储了一些全局变量。它看起来有点像：
global var1
var1 = "This is a test!"
在website_one_scraper.py中，它看起来像这样：
import config
def test_function():
# Do some
浏览 2提问于2021-01-09得票数 0
我试图使用pip命令在一个新的conda环境中安装一个包。它安装，但是有错误，我在IDE中得到ModuleNotFoundError。
步骤：
conda create --name facebookscraper python=3.8一切顺利
conda activate facebookscraper一切顺利
conda install pip一切顺利
pip install facebook-scraper安装，但是在安装结束时，我得到了多个WARNING: Target directory /opt/homebrew/lib/python3.9/site-packages/XYZPac
浏览 27提问于2022-08-19得票数 0
回答已采纳
该脚本在pycharm中运行得很好，但在作为->脚本运行时无法看到my lib shell站点包。我已经设置了我的PYTHONPATH变量，并将它作为%PYTHONPATH%添加到path中，但没有成功。我检查了bashrc，没有看到环境变量被覆盖。也许我的结构不正确？
-lib
- site-packages
-scripts
-src
- monroes_events.py
**Error:**
(venv) C:\Users\James\repos\web_scraper\src>bash web_scraper_setup.sh
python3 Monroe
浏览 0提问于2019-12-02得票数 0
1回答
在我的Form1中，我初始化了一个类scraper。在scraper类中有一个函数login。其思想是，该类将用户登录到网站上，并返回web浏览器，以便在Form1中可以使用登录的webbrowser控件。
到目前为止，我已经掌握了以下代码：Form1
private void button1_Click(object sender, EventArgs e)
{
Scraper scraper = new Scraper(this);
scraper.login(conf._webLogin);
}
public void updateLoginWeb(WebBrows
浏览 0提问于2013-08-07得票数 0
回答已采纳
这是我的Dockerfile：
FROM python:3.8-slim
WORKDIR /proxy-scraper-checker-master
RUN apt-get update && \
apt-get install -y --no-install-recommends libc-dev
COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt
COPY . /proxy-scraper-checker-master
CMD [ "python"
浏览 2提问于2020-05-29得票数 3
回答已采纳
1回答
我用python编写了web scraper，它使用MongoDB作为数据存储，以JSON格式保存复杂的设置。现在我需要一些用户的界面，谁将输入这些设置到数据库中。
它必须是一些网页，如姜戈管理页面或其他东西，但它必须与复杂的MongoDB文档结构强烈工作。
不幸的是，我不能使用这些中的任何一个，因为它们不能被定制为只显示一些文档，并根据必要的要求编辑用户界面(或者我错了？)
那么，有没有什么简单的方法来制作这样的页面呢？
浏览 0提问于2013-03-30得票数 0
3回答
我正在尝试使用exec从PHP脚本调用节点脚本。
$output = exec("/usr/bin/node /home/user/nodescript.js");
nodescript.js为：
var Scraper = require('google-images-scraper');
var keywords = process.argv[2];
var scraper = new Scraper({
keyword: keywords,
rlimit: 10, // 10 p second
});
console.log("
浏览 2提问于2016-01-21得票数 4
我试图运行一个脚本给我的网站，以刮我的第一个个人项目的曲棍球数据(我是新手，并想开始我自己的项目)。它要求我安装python 3和anaconda。在故障排除和安装之后，我已经获得了运行脚本所需的所有先决条件。
它的工作方式是在终端，据我的理解，您应该能够运行“导入hockey_scraper”。命令找不到。
第一个搜索显示我使用#!/usr/bin/env python3
% #!/usr/bin/env python3 import hockey_scraper
现在我得到了"zsh: event not : /usr/bin/env“
第二次搜索显示我是bash，可能zsh没有
浏览 1提问于2019-08-02得票数 0
回答已采纳
3回答
我尝试使用python/selenium来打开特定URL上的chrome，但我一直收到TypeError:Module object not found错误。我试着查找我做错了什么，但我发现没有任何帮助。代码： from selenium import webdriver
PATH = "/home/matthew/chromedriver"
driver = webdriver.chrome(PATH)
driver.get("google.com") 输出： Traceback (most recent call last):
File "
浏览 36提问于2020-09-02得票数 0
Route::get(uri: 'scraper', ["App\Http\Controllers\ScraperController"::class, 'scraper'])->name(name:'scraper');
我用web.php写了这一行，然后得到了以下错误：
“不能在命名参数之后使用位置参数”
浏览 2提问于2022-06-03得票数 -1
回答已采纳
我试图用Web::Scraper抓取HTML-page，但令人惊讶的是，我没有像我预期的那样从脚本标记中获得脚本。 下面的例子 use Web::Scraper;
use Data::Dumper;
my $html = q|
<html>
<head>
<title>test html</title>
</head>
<body>
<script>
test script
</script>
<p>
p test
浏览 15提问于2021-08-27得票数 2
回答已采纳
我有问题，让我的刮刀加载一个项目管道。在尝试添加自定义管道时，我得到了以下错误：
builtins.ModuleNotFoundError: No module named 'scraper_app'
我尝试过从settings.py ITEM_PIPELINES = ["scraper_app.pipelines.LeasePipeline"]运行，它正在工作，但是当我尝试通过custom_settings变量运行它时，会发生上述错误。
下面是我的应用程序的目录结构：
.
├── scraper_app
│ ├── __init__.py
│ ├──
浏览 3提问于2022-04-15得票数 0
import requests
from bs4 import BeautifulSoup
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() # generate error information
r.encoding = r.apparent_encoding # could be revised to enhance the speed
return r.next # return the HTML t
浏览 0提问于2021-01-31得票数 1
我试图在docker容器中设置导入，因此它们的行为方式与手动执行的脚本相同。
项目树：
.
┣ StatisticManager
┃ ┣ resources
┃ ┃ ┣ data.db
┃ ┃ ┣ data.csv
┃ ┃ ┗ index.html
┃ ┣ scraper.py
┃ ┣ Dockerfile
┃ ┗ requirements.txt
┣ WebService
┃ ┣ templates
┃ ┃ ┗ plot.html
┃ ┣ app.py
┃ ┣ Dockerfile
┃ ┗ requirements.txt
┗ docker-compose.y
浏览 4提问于2022-03-15得票数 0
我正在尝试使用Google cloud的cron来每隔一段时间运行我的Python脚本。我按照的指示进行了设置，任务显示在我的任务队列中，用于执行cron作业，但是当我单击run时，状态显示为failed。日志中也没有显示任何内容(当我单击日志下的“查看”时，它显示“找不到任何条目”，所以我不知道我做错了什么。我看了一些类似的问题，似乎我应该使用更多的处理程序，但我不确定什么时候需要处理程序。脚本(scraper.py)与cron.yaml和app.yaml在同一个目录中，我的代码如下。感谢任何人的帮助！
scraper.py
import requests
from bs4 import B
浏览 32提问于2017-07-01得票数 3
回答已采纳
我试图循环从一个文本文件的链接列表，并将信息写入一个文本文件。我得到的“索引超出范围”的错误，我不知道为什么。
import requests
from bs4 import BeautifulSoup
def item(a):
return a[::2]
def details(a):
return a[1::2]
sFile = open('scraped_data.txt', 'w+')
with open('C:/Users/Main/Desktop/Python Web Scraper/link_list.txt&
浏览 2提问于2018-03-11得票数 0
回答已采纳
请帮帮忙。我做了一件事(我不知道是什么)，我改变了我的路径是VSCode...在我运行代码之前，这通常会出现在终端中：
& python"c:/Users/Felipe/Desktop/Python/FINISHED PROYECTS/scraper/scraper.PY"
但我知道我得到的是：
c:/Users/Felipe/AppData/Local/Programs/Python/Python38-32/python.exe "c:/Users/Felipe/Desktop/Python/FINISHED PROYECTS/scraper/scraper.
浏览 0提问于2020-06-01得票数 0
我正在探索美丽汤en，它工作得很好，直到我添加了一个变量url (来自一个带有URLValidator的模型textfield )
我在之前添加了一个‘model_url’，但这也给出了一个错误。有什么问题吗？我谷歌了很多，但没什么效果..。希望这不是一个双重问题。提前谢谢！
这是我的model.py
class ScrapeUrl(models.Model):
product_title = models.CharField(max_length=255)
product_ean = models.CharField(max_length=25)
scrape_url = models.Te
浏览 0提问于2018-05-10得票数 1
回答已采纳
我有一个在Heroku上运行的刮板。它已经运行了一段时间(+- 2个月)，有几天它做得很好，达到了1000个最大值，还有几天它神奇地重新启动了。 有人知道重启的原因是什么吗？抓取器没有显示任何错误，我唯一能找到的就是Heroku日志中的以下消息： Feb 05 03:02:55 scraper heroku/web.1: Cycling
Feb 05 03:02:55 scraper heroku/web.1: State changed from up to starting
Feb 05 03:02:57 scraper heroku/web.1: Stopping all p
浏览 12提问于2019-02-06得票数 1
1回答
我不明白破烂的规则是怎么起作用的。比方说，我想要抓取一个网站，我想让它通过包含“类别”的链接。我想打开包含"product“的urls，然后将其传递给回调。我该怎么写呢？
这有什么问题呢？
rules = (
Rule(SgmlLinkExtractor(allow=r'.*?categoryId.*'), follow=True),
Rule(SgmlLinkExtractor(allow=r'.*?productId.*'), callback='parse_item'),
浏览 2提问于2014-01-13得票数 0
1回答
所有人。我有issues.Here是我的项目结构：
+-- scraper
| +-- scraper
| +-- classification
| | +-- classifier.py
| | +-- .gitignore
| +-- helpers
| | +-- help1.py
| +-- spiders
| | +-- spider1.py
.gitignore
.gitmodule
scrapy.cfg
当我运行命令scrapyd-deploy scraper -p scraper时，我还没有部署
浏览 2提问于2017-07-31得票数 0
回答已采纳
我想尝试一下python 的自动搜索库，我在Pycharm中用vir环境打开了一个新项目，安装了自动搜索库。同时，还添加了更多的包(如bs4等)。当我尝试导入AutoScraper对象时
from autoscraper import AutoScraper
PyCharm找不到该模块。当我在./lib/python3.8/site-packages/autoscraper/auto_scraper.py中打开模块脚本时，它显示问题出在从包utils.py中的第二个文件导入时
我对我的脚步做了截图。你能告诉我我做错了什么吗?如何让这个包工作？
创建vir环境：
正在导入自动收集器库：
浏览 23提问于2021-03-10得票数 0
我让我的scrapy机器人在两个不同的系统上运行。其中一个工作正常，而另一个不工作。它们是一模一样的复制品。当我使用-t csv -o data.csv时，我得到以下回溯。
Traceback (most recent call last):
File "/home/scraper/.python/bin/scrapy", line 4, in <module>
execute()
File "/home/scraper/.python/lib/python2.7/site-packages/scrapy/cmdline.py", l
浏览 4提问于2014-01-17得票数 0
我有一个安装了selenium的anaconda环境。当我尝试运行时，我得到这个错误： Traceback (most recent call last):
File "c:\Users\Nick\Desktop\Code\product-scraper\sephora-scraper\scraper.py", line 31, in
ChromeDriverManager().install(), options=options)
File "C:\Users\Nick\anaconda3\envs\web-scraper\lib\site-pac
浏览 158提问于2021-02-28得票数 0
回答已采纳
2回答
我很难在python模块上导入一个类。
以下是我的目录结构：
TestMap
+lib
+vendors
+testing
- _init.py
- products.py
- _init_py.
- notifications.py
- scraper.py
- utils.py
-main.py
我从scraper.py开始，试着在products.py上得到函数，也就是vendors -> testing -> products.py
from .vendors.testing.produ
浏览 1提问于2020-02-21得票数 0
回答已采纳
我让Django和Scrapyd都在不同的容器中运行，Django在我主机的localhost:8001上运行得很好，但当我试图通过localhost:8000访问Scrapyd时，我从Firefox得到了一个“连接重置”错误。我正在试着把两个连接器连接起来，一个码头网络已经存在了。在我转到Docker之前，这在我的主机上运行得很好。我该如何解决这个问题呢？ docker compose docker-compose: version: "3.9"
services: web:
build: .\web
command: python manage.py
浏览 58提问于2021-10-07得票数 0
1回答
因此，我需要运行这个run.sh文件，并且无法使用windows默认的CMD。因此，我安装了Cygwin64终端，它自动读取文件，但在读取结束时，它发送了一个错误：
$ /cygdrive/c/Python27/Scripts/./run.sh
Starting scraper
Scrape complete, checking movies with imdb
C:\python27\python.exe: can't open file 'check_imdb.py': [Errno 2] No such file or directory
内部run.sh
#!/
浏览 4提问于2017-01-31得票数 1
1回答
目前，我一直在创建一个web爬虫，在这里我想调用正确的类，从给定的URL中抓取web元素。
目前，我创建了：
import sys
import tldextract
import requests
class Scraper:
scrapers = {}
def __init_subclass__(scraper_class):
Scraper.scrapers[scraper_class.url] = scraper_class
@classmethod
def for_url(cls, url):
k = tldex
浏览 1提问于2021-05-24得票数 0
回答已采纳
因此，我制作了一个个人web服务器来刮一些网站，并在网页上显示数据。但是当我尝试将结果提交到数据库时，我收到了对我提交的每个视频的警告。我想知道这个警告是可以修正的，还是至少是隐藏的？
这是我的密码：
from web_scraper import db
from web_scraper.models import Video
old_db = Video.query.all() # existing database to compare with the new one
db_queue = list() # scraping results ready to be added to t
浏览 2提问于2021-01-05得票数 2
回答已采纳
当我使用facebook_scraper库从facebook页面获得这段代码时。
from facebook_scraper import get_posts
for post in get_posts('ThaiPBSFan', pages = 50):
print(post['text'][:100])
它只适用于很少的帖子，然后就会出现这样的错误。
Traceback (most recent call last):
File ".\main.py", line 2, in <module>
for post
浏览 3提问于2020-03-14得票数 0
回答已采纳
我正试着从Quora上搜刮自己的帖子。我试图使用命令quora-scraper users -l ['Kaleab-Woldemariam']来抓取它，该命令提供堆栈跟踪：
C:\Users\Kaleab\Desktop\scrapy_projects>quora-scraper users -l [Kaleab-Woldemariam]
Traceback (most recent call last):
File "c:\python37\lib\runpy.py", line 193, in _run_module_as_main
浏览 3提问于2020-09-18得票数 0
我目前收到了这个错误，不知道这是什么意思。这是一个糟糕的python项目，这是我看到的错误：
File "/bp_scraper/bp_scraper/httpmiddleware.py", line 22, in from_crawler
return cls(crawler.settings)
File "/bp_scraper/bp_scraper/httpmiddleware.py", line 12, in __init__
if parts[1]:
TypeError: '_sre.SRE_Match' obj
浏览 0提问于2014-03-11得票数 19
我正在学习python，并试图在这个github项目上运行代码。
当我尝试运行如下命令时
python "C:\Python\rcfbscraper-master\ESPN_Scraper\ESPN_Scraper\spiders\espnSpider.py"
我得到名为ESPN_Scraper.items的错误无模块。这是冒犯的界限
from ESPN_Scraper.items import GameItem
浏览 0提问于2016-09-29得票数 0
回答已采纳
我在Visual中编译了一个DLL (源代码是用C++编写的，我很难理解)。这是Scraper.h的一段
struct SWin
{
char title[512];
HWND hwnd;
};
SCRAPER_API bool ScraperGetWinList(SWin winList[100]);
现在，我尝试在Delphi应用程序中使用上面的函数：
type
tWin = record
title: String;
hwnd: HWND;
end;
function ScraperGetWinList(var WinList: Array of
浏览 6提问于2009-10-18得票数 2
回答已采纳
我想监视我的python脚本。我正在尝试从monit运行python脚本，但我得到的错误文件如下：
错误：‘刮刀’进程没有运行信息：‘刮刀’试图重新启动信息：‘刮刀’开始：‘/bin/刮刀’启动‘错误：’刮刀‘启动失败(退出状态-1) -没有输出
我的monit配置文件是：
check process scraper with pidfile /var/run/scraper.pid
start = "/bin/scraper start"
stop = "/bin/scraper stop"
我的刮刀文件是：
#!/bin/bash
PIDFILE=/var
浏览 0提问于2019-10-25得票数 0
1回答
我的刮刀用了大约一个小时。过了一会儿，我开始看到这些错误：
2014-01-16 21:26:06+0100 [-] Unhandled Error
Traceback (most recent call last):
File "/home/scraper/.fakeroot/lib/python2.7/site-packages/Scrapy-0.20.2-py2.7.egg/scrapy/crawler.py", line 93, in start
self.start_reactor()
F
浏览 3提问于2014-01-16得票数 3
我对Perl语法感到困惑。这是一个关于的例子。
my $t = scraper {
process "li", "list[]" => "TEXT";
};
print ref($tweets), "\n";
输出：
Web::Scraper
我不明白大括号的意思。如果scraper是一个函数，那么为什么要使用{}而不是()
浏览 4提问于2011-03-04得票数 6
回答已采纳
我正在运行一个带有JOBDIR的刮板(参考资料)。)，这样爬行就可以暂停并恢复。刮刀器已经成功运行了一段时间，但是现在当我爬行蜘蛛时，我得到了日志，其结尾如下：
scraper_1 | 2017-06-21 14:53:10 [scrapy.middleware] INFO: Enabled item pipelines:
scraper_1 | ['scrapy.pipelines.images.ImagesPipeline',
scraper_1 | 'scrapy.pipelines.files.FilesPipeline']
scraper_1
浏览 3提问于2017-06-21得票数 0
回答已采纳
我正在使用HTMLSession开发一个网络刮刀项目，我计划使用一组用户定义的关键字来搜索询问搜索引擎的结果。我已经开始为我的刮刀编写代码了，如下所示：
from requests_html import HTMLSession
class Scraper():
def scrapedata(self,tag):
url = f'https://www.ask.com/web?q={tag}'
s = HTMLSession()
r = s.get(url)
print(r.status_code)
浏览 3提问于2022-06-13得票数 0
我正在尝试用Python构建一个简单的web抓取器，方法是使用'cfscrape‘和'requests’模块： import cfscrape
import requests
url = "my-url"
headers = {
"Accept": "application/json",
"Referer": url,
"Host": "host",
"User-Agent": "my-user-agent",
浏览 17提问于2020-12-28得票数 0
在我的parse_item回调中有以下代码：
sel = Selector(response)
item['name'] = sel.xpath('//div[@class="productDescriptionBlock"]/h2/text()').extract()[0]
return item
但我得到了UnicodeEncodeError
exceptions.UnicodeEncodeError: 'charmap' codec can't encode character u'\uff01' i
浏览 2提问于2014-01-12得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
