使用Python将BS4抓取的数据发送到sqlite3数据库

的步骤如下：

首先，导入所需的模块和库。使用import语句导入BeautifulSoup（用于解析HTML）、requests（用于发送HTTP请求）、sqlite3（用于操作sqlite数据库）。

from bs4 import BeautifulSoup
import requests
import sqlite3

下载网页并解析HTML内容。使用requests.get()函数发送GET请求获取网页内容，然后使用BeautifulSoup库解析HTML。

url = "网页的URL"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

定义数据库连接和游标。使用sqlite3.connect()函数创建数据库连接，并使用.cursor()方法创建游标对象，用于执行SQL语句。

conn = sqlite3.connect("数据库文件路径")
cursor = conn.cursor()

创建数据表。使用SQL语句创建一个表，定义各个字段的名称和数据类型。

create_table_query = """
CREATE TABLE IF NOT EXISTS 表名 (
    字段1 数据类型,
    字段2 数据类型,
    ...
)
"""
cursor.execute(create_table_query)

提取数据并插入数据库。使用BeautifulSoup提取所需的数据，并使用INSERT语句将数据插入数据库表中。

data = soup.find_all("标签名")
for item in data:
    value1 = item.find("子标签1").text.strip()
    value2 = item.find("子标签2").text.strip()
    
    insert_query = """
    INSERT INTO 表名 (字段1, 字段2)
    VALUES (?, ?)
    """
    cursor.execute(insert_query, (value1, value2))