我写了一个从网站抓取数据的抓取程序,如果我抓取到json文件或csv文件,程序会抓取成功,当我尝试抓取postgres数据库时出现问题,下图显示了我收到的错误,我如何修复错误: ? def process_item(self, item, spider):
"""Save deals in the database.
This method is called for every item pipeline component.
"""
self.cur.execute("insert into
问题是我不能抓取网站的一部分。如果我使用chrome devmode,我无法在xpath或选择器中复制正确的位置。 我将获得其他选项卡或div的正确路径,例如正文标题:body > div.header.home-header > div 然而,当我试图获得包含我想要的信息的标签时,我只得到了:#htmlContent。如果我手动编写它,它应该是:body > div.main.main-top.seach-boxstyle > div > div > div.recommend-product-wrap.produc-text > div >
我目前正在抓取this website来构建一个汽车数据集,并且我有一个公式,可以在抓取的同时循环遍历网站的每个页面。然而,我无法提取我需要的文本,使其工作。 下面的代码片段是我试图抓取的标记。我需要得到网站上的车辆数量。 <span class="d-none d-sm-inline">166 Vehicles</span> This image shows the site's element that I am trying to scrape 下面是我用来抓取该元素的代码: # Packages
import pandas as pd
我正在尝试通过网络抓取这个网站:https://kineticlabs.store/switches。然而,当我运行下面的代码时,与在Chrome上查看网页相比,html缺少许多子div元素。我很困惑为什么会这样,因为它似乎只发生在这个特定的网站上。提前谢谢。 let page = await configureBrowser(url);
await page.reload();
let html = await page.evaluate(() => document.body.innerHTML);
我正在尝试创建一个项目
每隔5分钟就会自动从网站上抓取数据,并将其保存到db烧瓶应用程序中与用户进行交互。用户从db请求数据。
抓取数据的python脚本如下所示:
import os
import time
while True:
os.system(scrape.py)
time.sleep(5*60)
我最初试图在每次用户请求数据时从网站上抓取数据。但我发现它工作得太慢了。
因此,现在我正在尝试制作另一个python脚本,它从网站中抓取数据并自动保存到db中。而烧瓶应用程序只需要从db获取数据。
我的问题是,如何同时运行python脚本和烧瓶应用程序?或者有什么更好的方法来解决