使用R: gz/csv文件进行Web抓取
使用R进行Web抓取可以通过多种方式，例如使用httr包或rvest包来实现。下面是对于这个问题的完善且全面的答案：
Web抓取是指从互联网上获取数据的过程，通常用于获取网页上的结构化数据。R语言提供了多个包和函数来实现Web抓取，如httr、rvest和xml2等。
httr包：httr是一个用于HTTP请求的包，可以用于发送GET和POST请求，处理响应以及处理cookie等。它提供了一些功能强大的函数，如GET()、POST()、content()等。- 分类：
httr是一个网络通信库，用于发送HTTP请求和处理响应。 - 优势：
httr包使用简单直观，具有丰富的功能和灵活性，可以自定义请求头、处理cookie、处理代理等。 - 应用场景：通过
httr包可以获取网页数据、API数据、进行Web爬虫等。 - 腾讯云相关产品推荐：腾讯云的云服务器（https://cloud.tencent.com/product/cvm）可以用于运行R代码和托管爬虫应用。
- 分类：
rvest包：rvest是一个用于Web抓取和网页解析的包，提供了类似于XPath的选择器语法，方便快捷地提取网页上的数据。- 分类：
rvest是一个网页解析库，用于抓取和解析网页数据。 - 优势：
rvest包使用简单直观，提供了类似于XPath的选择器语法，方便提取网页上的结构化数据。 - 应用场景：通过
rvest包可以提取网页上的文本、图片、表格等结构化数据。 - 腾讯云相关产品推荐：腾讯云的对象存储（https://cloud.tencent.com/product/cos）可以用于存储抓取到的数据。
- 分类：
使用R进行Web抓取的一般步骤如下：
- 安装必要的包：使用
install.packages()函数安装httr和rvest包。 - 发送HTTP请求：使用
GET()或POST()函数发送HTTP请求，并获取响应。 - 处理响应数据：使用
content()函数处理响应数据，可以选择返回的格式，如文本、JSON或XML。 - 解析网页数据：使用
html_nodes()和html_text()等函数选择和提取网页上的数据。 - 存储数据：将抓取到的数据存储到本地文件或数据库中，可以使用
write.csv()或其他相应的函数。
注意：在进行Web抓取时，请遵守相关网站的爬虫规则，不要过度频繁地请求目标网站，以免对目标网站造成过大的压力。
希望以上信息能对您有所帮助。
相关·内容
3回答
只从许多目录中找到第一个文件
、、、、
我有很多目录：
13R
613
AB1
ACT
AMB
ANI
每个目录包含大量文件：
20140828.13R.file.csv.gz
20140829.13R.file.csv.gz
20140830.13R.file.csv.gz
20140831.13R.file.csv.gz
20140901.13R.file.csv.gz
20131114.613.file.csv.gz
20131115.613.file.csv.gz
20131116.613.file.csv.gz
20131117.613.file.csv.gz
20141114.ab1.file.csv.gz
2014
浏览 5提问于2017-02-15得票数 0
回答已采纳
makefile通常用于源代码编译；但是，作为一种依赖机制，make可以有更多用途。
举一个小例子，我有一个每天运行的脚本，它可能会更新或创建一些基于web抓取的目录中的'*.csv.gz‘文件；所有的gzipped文件都需要合并到一个文件中，如果有新文件，显然需要运行合并过程。
在我的例子中，下面的makefile完成了这项工作：
consolidation: datasummary.pcl
datasummary.pcl: *.csv.gz
consolidate.py
cron作业运行更新过程，然后运行make consolidation；如果datasummary.p
浏览 0提问于2010-10-08得票数 3
我正在尝试使用Spark将一堆csv文件转换为parquet，有趣的是，输入的csv文件已经按目录“分区”了。所有输入文件都有相同的一组列。输入文件结构如下：
/path/dir1/file1.csv
/path/dir1/file2.csv
/path/dir2/file3.csv
/path/dir3/file4.csv
/path/dir3/file5.csv
/path/dir3/file6.csv
我想用Spark读取这些文件，并将它们的数据写入hdfs中的parquet表，保留分区(按输入目录分区)，例如每个分区有一个输出文件。输出文件结构应如下所示：
hdfs://path/di
浏览 2提问于2016-11-15得票数 4
1回答
我已经在网站上搜索了很多次，但没有找到我真正需要的东西。我有一个包含数据的web.warc.gz文件，我需要提取WARC头。我已经安装了Tomcat和Wayback (1.6)，试图使用./warc header脚本来派生，这是由Wayback提供的，但我一直收到关于我使用的格式的错误消息：
Sergeis-MacBook-Pro:bin sergeipashuev$ ./warc-header ~/Desktop/WEB.WARC.gz \r\n\
~/Desktop/output.csv type \r\n
USAGE: tgtWarc fieldsSrc id
浏览 25提问于2014-02-21得票数 3
1回答
1)如何从网站上的tar.gz文件中读取所有csv文件的数据，并以最省内存和空间的方式将其写入文件夹中的CSV中? 2)如何循环遍历tar.gz文件中的所有CSV文件? 3)由于CSV文件很大，我如何循环它来读写，比方说，一次读写100万行？
使用其他堆栈溢出答案上的代码，我只走了这么远！
import pandas as pd
import urllib2
import tarfile
url='https://ghtstorage.blob.core.windows.net/downloads/mysql-2016-08-01.tar.gz'
r=urllib2.Reque
浏览 0提问于2016-08-27得票数 0
1回答
我想使用sparklyr包打开gz文件，因为我在R上使用Spark。我知道我可以使用read.delim2(gzfile("filename.csv.gz"), sep = ",", header = FALSE)打开gz文件，我也可以使用spark_read_csv打开csv文件，但当我尝试在Spark中打开gz文件时，两者都不起作用。请帮帮我！
浏览 18提问于2019-01-23得票数 2
回答已采纳
1)我在shell目录中有一组文件，我希望根据文件名中的时间戳获取最新的文件。
2)例如：
test1_20180823_121545.csv.gz
test2_20180822_191545.csv.gz
test3_20180823_192050.csv.gz
test4_20180823_100510.csv.gz
test4_20180823_191040.csv.gz
( 3)根据所述文件的时间和日期进行扩展。我的输出应该是test3_20180823_192050.csv.gz
浏览 1提问于2018-08-23得票数 0
回答已采纳
2回答
我在一个目录中有多个文件，格式为gene_primer_otherinfo.fastq.gz。我有一个csv文件与以下格式，说明基因和引物组合，我希望保持。它总共有64行。
| Gene | Reverse_primer |
| -------- | -------------- |
| Gene1 | R1.1 |
| Gene1 | R2.1 |
| Gene1 | R3.1 |
| Gene1 | R4.1 |
| Gene2 | R1.2 |
| G
浏览 1提问于2022-07-03得票数 1
回答已采纳
我试图用R.utils::gzip和data.table::fwrite的compress = "gzip"参数复制压缩文件的校验和，但我总是得到不同的结果。下面是一个例子 library(data.table); library(R.utils); library(digest)
dt <- data.frame(a = c(1, 2, 3))
fwrite(dt, "r-utils.csv")
gzip("r-utils.csv")
fwrite(dt, "datatable-v1.csv.gz", compres
浏览 33提问于2021-09-01得票数 1
回答已采纳
我在hdfs中有一个数据源，它的文件没有压缩，即使它们的名称以(*.csv.gz)结尾，而Impala无法识别它们没有压缩。有没有一种方法可以读取外部表中的这些文件，而不需要更改所有当前文件的名称？如果没有，那么在hdfs中更改所有当前文件名的最佳实践是什么？ 以下是该表的当前创建查询： CREATE EXTERNAL TABLE db.table1(
col1 type,
col2 type
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001'
WITH SERDEPROPERTIES ('field.
浏览 32提问于2021-07-18得票数 1
回答已采纳
我有一个CSV文件，由两列组成。
一列是旧文件名，另一列是新文件名。
我想用新的文件名替换文件夹中的实际文件名。
我看了很多遍，但找不出该怎么做。
我的输入文件是：
New Old
Dys.FSA_BB_NEW_0204_Sp_5_HBG_fq.gz.res Cfda
Dys.FSC_Sp_BB_LC_0028_R1_30_HBG_fq.gz.res Cyffa
Dys_BB_NEW_0177_Sp_FSD.5_HBG_fq.gz.res Cyfsaff
Dys_FSE.BB_AM_0104_Sp_5_HBG_fq.gz.res afffa
Dys_FSF.AM_0068_
浏览 3提问于2016-01-01得票数 1
回答已采纳
在Python2.7中，我想打开一个文件并对其进行一些操作。问题是我事先不知道它是有一个.csv还是一个.csv.gz扩展。如果我知道是.csv，我会这么做
with open(filename, "r") as f_in:
do something
如果我知道是.csv.gz，我可以说
import gzip
with gzip.open(filename, "r") as f_in:
do something
我很好奇，在弄清楚文件扩展名后，是否有办法避免重复：
def find_ext(filename):
return fil
浏览 0提问于2015-10-28得票数 2
我有一个目录，里面有下面的文件-
111-xxx-typec_2015-10-13.csv.gz
111-xxx-typec_2015-10-14.csv.gz
222-yyy-typec_2015-10-13.csv.gz
222-yyy-typec_2015-10-14.csv.gz
333-zzz-typec_2015-10-13.csv.gz
333-zzz-typec_2015-10-14.csv.gz
444-ppp-typec_2015-10-13.csv.gz
444-ppp-typec_2015-10-14.csv.gz
444-ppp-typec_2015-10-15.cs
浏览 5提问于2015-10-16得票数 0
回答已采纳
1回答
提取.csv.gz文件-内存错误
、、、、
我试图编写一个脚本，从ftp服务器访问.csv.gz文件，并将内容写回同一服务器上的.csv文件。只要文件小于100 it，此方法似乎就能正常工作，从而导致失败，从而导致内存错误。我无法找到一种只提取.csv文件的方法，因此它逐行读取文件内容(元组列表)并将其写入新文件。
是否有更有效的方法来做到这一点，或者甚至是直接从.csv文件中提取.csv.gz文件的方法？
def gz_unzipper():
hostname = "servername"
directory = "path"
input_file = directory +
浏览 1提问于2011-12-15得票数 1
2回答
如何从tar.gz中压缩的csv文件创建pandas DataFrame？我发现这段代码可以做到这一点，但是使用的是zip文件。在不下载tar.gz和csv文件的情况下，我应该对以下代码进行哪些更改才能使其与tar.gz一起工作。
import pandas, requests, zipfile, StringIO
r =requests.get('http://data.octo.dc.gov/feeds/crime_incidents/archive/crime_incidents_2013_CSV.zip')
z = zipfile.ZipFile(StringIO.St
浏览 0提问于2016-08-28得票数 0
我是Google Cloud Platform的新手，我正尝试在bigquery中使用GCP存储桶中存储的大约60,000个csv.gz文件创建一个表。 为此，我打开了Cloud Shell，并尝试执行以下操作： $ bq --location=US mk my_data
$ bq --location=US \
load --null_marker='' \
--source_format=CSV --autodetect \
my_data.my_table gs://my_bucket/*.csv.gz 这将抛出以下错误： BigQuery
浏览 23提问于2020-10-15得票数 0
回答已采纳
2回答
有很多关于这个话题的问题，但在R下面不涉及这个问题。
我有一个csv.gz文件，我想“解压缩”该文件，并将其作为普通的*.csv文件。我想我们应该先读取csv.gz文件，然后通过write.csv命令创建csv文件本身。
下面是我尝试过的一些其他方法：
gz.file <- read.csv(gzfile(file.choose()), as.is = TRUE)
提供：
head(gz.file)
farmNo.milk.energy.vet.cows
1 1;862533;117894;21186;121
2 2;605764;72049;
浏览 4提问于2013-12-16得票数 10
这可能是我的一个简单的错误，但我不能完全弄清楚如何在不创建许多子目录的情况下压缩文件。
我是这样做的：
f_in = open(r'C:\cygwin\home\User\Stuff\MoreStuff\file.csv', 'r')
gzip_file_name = r'C:\cygwin\home\User\Stuff\MoreStuff\file.csv.gz'
f_out = gzip.open(gzip_file_name, 'w')
f_out.writelines(f_in)
f_out.close()
问题是，当我
浏览 0提问于2013-03-14得票数 0
回答已采纳
我目前正在使用sftp从我的网络主机下载夜间备份(.tar.gz)到我的桌面计算机。我想我想切换到rsync，以最小化带宽(和时间)。我在我的电脑上安装了cygwin，但是不要使用它。我可以通过ssh (PuTTY)访问我的web主机。
假设我的源目录是myserver.com:/home/username/backups/，我想从那里抓取所有的.tar.gz文件，我想将它们保存到C:\Backups\ locally。
浏览 0提问于2010-06-04得票数 2
我正在提取一个gz文件，它给了我一个errno，因为在抓取中，我也在做浏览器还没有下载这个文件，所以我想试一试，如果出现了错误，我让它等待一段时间，然后将它放回提取中，但是我做错了，甚至不是诚实地说，我是这样做的：
try:
pass
## Download to folder and use whatever comes out
file_downloaded = False
while not file_downloaded:
for file in os.listdir("tmp"):
浏览 0提问于2021-04-13得票数 0
回答已采纳
和其他以前发过帖子的人一样，我不知道如何在Python3.7中从URL下载csv.gz文件。我看到一些帖子，但它们只发布了一个2kb的文件。
我是一个100%使用Python的新手。下面是我试图获取的一个文件的代码。我甚至不能这么做。最终目标是使用python请求所有以2019*开头的文件。请尝试使用下面的代码保存文件。正如其他人所说，文件只是一个名称，没有真正的内容-引用：
import requests
url = 'https://public.bitmex.com/?prefix=data/trade/20191026.csv.gz'
r = requests.get(
浏览 0提问于2019-10-29得票数 0
我正在尝试访问我的停靠的python程序正在制作的.csv文件。
这是我的docker文件：
# Use an official Python runtime as a parent image
FROM python:3.7
# Set the working directory to /app
WORKDIR /BotCloud
# Copy the current directory contents into the container at /app
ADD . /BotCloud
# Install any needed packages specified in req
浏览 0提问于2018-09-23得票数 0
1回答
我想知道如何在所有子目录中搜索特定模式的文件(GunZip文件)(月wise / Date wise -子目录创建)。然后，对找到的文件执行一个脚本。还需要填充文件名和输出，以便跟踪和进一步分析该特定文件。
Step1:例如:当前正在此模式TT_DETAIL*.gz上搜索文件。
find /cygdrive/c/Test/ -name TT_DETAIL*.gz
output#1：
/cygdrive/c/Test/Feb2014/TT_DETAIL_20141115.csv.gz
/cygdrive/c/Test/Jan2014/TT_DETAIL_20141110.csv.gz
/cyg
浏览 0提问于2014-11-27得票数 2
回答已采纳
我正在尝试将所有csv.gz文件从加载到google。做这件事最好的方法是什么？
我试着使用pyspark读取csv.gz文件(因为我需要对这些文件执行一些数据清理)，但是我意识到pyspark不支持直接从url读取文件。将csv.gz文件的已清理版本加载到BigQuery中是否有意义，还是应该将原始的原始csv.gz文件转储到BigQuery中，并在BigQuery本身中执行清洗过程？
我正在阅读“谷歌BigQuery:最终指南”一书，它建议在上加载数据。我是否需要将每个csv.gz文件加载到中，还是有更简单的方法来做到这一点？
谢谢你的帮忙!
浏览 8提问于2022-11-12得票数 0
回答已采纳
1回答
我需要一种快速的方法来从压缩为.tar.gz的.csv文件中读取多个特定列，并将其转换为R中的变量。
我的方法是：
con <- textConnection(system(paste("zcat ", filename.tar.gz, " | cut -d ; -f 1,2,3", sep = "")))
var <- read.csv(con, sep = ";")
他似乎不理解zcat filename.tar.gz | cut -d ; -f 1,2,3命令，因为它是在控制台上工作的。
我在R中得到的错误：
[
浏览 0提问于2016-02-26得票数 0
在我的Laravel应用程序的预定任务中，我正在读取几个大的gzipped文件，这些文件在外部FTP服务器上从80 my到4gb不等，其中包含基于products属性存储在数据库中的产品。
我循环遍历要导入的产品提要列表，但每次返回一个致命错误：“允许内存大小为536870912字节”。我可以将fgetcsv函数的长度参数从1000提高到100000，这解决了较小文件(< 500 it )的问题，但对于较大的文件，它将返回致命错误。
是否有一种解决方案，允许我下载或解压缩.csv.gz文件，逐行读取(分批或逐个读取)，并将产品插入数据库而不会耗尽内存？
$feeds = [
&#
浏览 0提问于2020-07-17得票数 5
回答已采纳
1回答
我有两个脚本，一个在R中，另一个在pyspark中，它使用输出。为了简单起见，我试图将该功能复制到第一个脚本中。
第二个脚本非常简单--读取一堆csv文件，并将它们作为分区块发出：
spark.read.csv(path_to_csv, header = True) \
.repartition(partition_column).write \
.partitionBy(partition_column).mode('overwrite') \
.parquet(path_to_parquet)
这在R中应该同样简单，但我不知道如何匹配parti
浏览 0提问于2019-06-13得票数 2
回答已采纳
使用aws-php-sdk从s3存储桶中读取csv.gz文件。所有的文件都是csv.gz文件，我计划读取这些文件，然后将数据导入我的数据库。
我已经查看了许多堆栈溢出问题，但似乎无法使其正常工作。
以下是我到目前为止编写的代码。
$s3 = new S3Client([
'version' => 'latest',
'region' => 'us-east-2',
'credentials' => [
'key' => '
浏览 4提问于2020-07-01得票数 0
我通常将过滤后的特征bc矩阵(包括barcodes.tsv.gz、features.tsv.gz和matrix.mtx.gz文件)通过Read10X函数导入到R环境中，并通过CreateSeuratObject函数将数据转换为Seurat对象。
但是，我发现一些公开可用的处理scRNA-seq data仅以counts.csv.gz文件的格式共享。因此，我试图通过以下命令将counts.csv.gz文件转换为Seurat对象；
countsData <- read.delm(file=“~path/ Tumor2 1_COUNT.csv.gz "，header = TRUE，s
浏览 20提问于2020-10-23得票数 0
我想使用pandas.read_csv在压缩目录(.asc.gz)中打开一个gzip文件(.zip)。有什么简单的方法可以做到这一点吗？
下面的代码不起作用：
csv = pd.read_csv(r'C:\folder.zip\file.asc.gz') //找不到文件
这段代码确实可以工作(但是，它要求我解压缩文件夹，我希望避免这样做，因为我的数据集当前包含数千个压缩文件夹)：
csv = pd.read_csv(r'C:\folder\file.asc.gz')
有什么简单的方法可以做到这一点吗？我尝试使用zipfile.Zipfile和read_csv的组
浏览 21提问于2020-03-13得票数 1
我在Ubuntu18.04.4 LTS上运行。
我将一个包含大致60+K文件的文件夹压缩到一个.tar.gz文件中。压缩文件的大小为3.3Gb。
我打开压缩文件提取一些文件，并意识到我震惊，惊愕和错误，只有少数文件(总文件大小6.2K)存储在拉链！
有什么可能出了问题？.tar.gz文件怎么会有这么大的文件大小，而包含的文件的总文件大小却在0.5%左右？
值得注意的是，我压缩的文件中没有一个是隐藏文件，这是我用来压缩文件夹文件的文件：
nohup ssh me@yourbox "tar -cf - /path/to/folder" | gzip > foldername.
浏览 0提问于2020-08-24得票数 0
1回答
我的文件夹myfolder.tar.gz中有多个CSV文件。我以这种方式创建了它:首先将所有文件放在文件夹名myfolder中，然后准备一个tar文件夹。然后准备这个tar文件夹的.gz。
假设我们有5份文件。
abc_1.csv
abc_2.csv
abc_3.csv
def_1.csv
def_2.csv
我希望使用Pyspark数据帧过滤特定文件名模式中的读取文件。就像我们想一起读取所有的abc文件一样。
这不应该给我们def的结果，反之亦然。目前，我可以通过使用spark.read.csv()函数一起读取所有的CSV文件。此外，当我使用以下pathGlobalFilter参数将文件保存
浏览 1提问于2021-02-04得票数 1
回答已采纳
我有一个python脚本，它将使用以下三个参数：
一个给定的目录路径，其中文件重命名为，CSV文件有两个列映射文件名:要重命名的文件的扩展名(.txt，.tar.gz，.pass.vcf.gz)
original,new
barcode01,sample01
barcode02,sample02
剧本：
import os
import csv
def rename_files(path, name_map, ext):
with open(name_map, 'r') as csv_map:
filereader = csv.DictReader(c
浏览 3提问于2021-09-08得票数 0
2回答
我希望读取的数据集以tar.gz文件的形式存储在GitHub上，并且每隔几个小时更新一次。虽然我总是可以下载这个文件，解压缩它，并从CSV读取，但如果我能及时直接从this URL读取到熊猫数据帧，那就更好了。 经过一些谷歌搜索后，我能够下载压缩文件，然后将其作为数据帧读取。 import requests
import tarfile
import pandas as pd
# Download file from GitHub
url = "https://github.com/beoutbreakprepared/nCoV2019/blob/master/latest_dat
浏览 25提问于2020-07-02得票数 1
回答已采纳
1回答
我需要将几个文件从ADLS Gen1位置复制到另一个ADLS Gen1位置，但必须根据文件名创建文件夹。
我在源ADLS中有几个文件，如下所示：
ABCD_20200914_AB01_Part01.csv.gz
ABCD_20200914_AB02_Part01.csv.gz
ABCD_20200914_AB03_Part01.csv.gz
ABCD_20200914_AB03_Part01.json.gz
ABCD_20200914_AB04_Part01.json.gz
ABCD_20200914_AB04_Part01.csv.gz
场景-1-我必须将这些文件复制到目标ADLS中，如下所
浏览 3提问于2020-09-14得票数 0
2回答
在存档中安装R包
、、
如何在Windows中安装存档包？
当我试图安装从存档下载的tar.gz时，我会得到以下错误：
gzfile( file，"r")中的错误:无法打开连接:警告消息: 1:解压缩(zipname，exdir = dest)：从zip文件中提取错误1:在gzfile中(文件，"r")：无法打开压缩文件‘抓取_2.5-7.tar.gz/DESCRIPTION’，可能的原因是‘没有这样的文件或目录’
浏览 2提问于2012-02-06得票数 5
回答已采纳
我先写了脚本--从文件中取出一行。然后向tron_*.csv文件中添加日期，然后对文件进行gzip，然后将该文件scp。
为了将日期添加到文件中，我从文件名中删除了csv的后缀，然后将日期附加到新的文件名中，然后将"dot“重新附加到文件名，然后将$i文件添加到新的名称中，然后将gzip和scp文件添加到文件名中。
#!/bin/bash
set -x
sed -i '/D,642,0642,ZIPPY,FOO,,M,,S,S,FARFEGNUGEN,213,213,/d' ./tron_foot.csv
today=$(/bin/date +%Y%m%d)
#toda
浏览 4提问于2014-10-29得票数 1
回答已采纳
我对漂亮的soup/Python/Web Scraping还不熟悉，我已经能够从站点中抓取数据，但我只能将第一行导出为csv文件(我想将所有抓取的数据导出到该文件中)。
我对如何让这段代码将所有抓取的数据导出到多个单独的行中感到困惑：
r = requests.get("https://www.infoplease.com/primary-sources/government/presidential-speeches/state-union-addresses")
data = r.content # Content of response
soup = Beautiful
浏览 13提问于2021-02-23得票数 0
回答已采纳
3回答
我有一个存档文件(archive.tar.gz)，它包含多个归档文件(file.txt.gz)。
如果首先将.txt.gz文件解压缩到文件夹中，则可以直接使用以下方法打开它们：
import pandas as pd
df = pd.read_csv('file.txt.gz', sep='\t', encoding='utf-8')
但是，如果我使用tarfile库来查看归档文件，那么它就无法工作：
import pandas as pd
import tarfile
tar = tarfile.open("archive.tar.
浏览 11提问于2020-02-21得票数 2
回答已采纳
我想从tar.gz文件中读取文件夹的名称，并创建包含这些名称的列。
我使用的是以下代码：
file_path = r"C:\Users\filename.tar.gz"
start_with = './mainfolder/'
import tarfile
import re
with tarfile.open(file_path, "r:*") as tar:
csv_path = tar.getnames()
csv_path = list(n for n in tar.getnames() if (n.endswith(&
浏览 10提问于2019-11-04得票数 1
回答已采纳
我想从网络文件夹中找到所有.gz文件的文件夹路径。我有下面的script，但它给出了error：
TypeError: cannot concatenate a non-NDFrame object
请在同一问题上提供帮助
脚本：
import os
import pandas as pd
adcPath = r'\\ADC\redshift-datasets\BLSCEWAG2016'
gzPath = pd.DataFrame(columns=['Path'], dtype=object)
for path, subdirs, files in os.w
浏览 1提问于2017-07-27得票数 1
回答已采纳
3回答
我正在尝试使用基本正则表达式来帮助我查找和下载文件。因此，我想知道为什么下面的代码不能工作？我知道re.findall创建了一个对象，我想这是我误入歧途的地方。一如既往的感谢。
server_list1=('part002.csv.gz' , '2014-01-28', 'part001.csv.gz', '2014-01-28', 'part002.csv.gz', '2014-01-25')
x=[]
for item in server_list1:
if re.findall(
浏览 0提问于2014-01-30得票数 2
1回答
目前我有一个csv文件的.gz文件。我想把它解压缩。 困难的是，在解压缩.gz文件后，它需要进行逐位操作才能将其转换为正确的格式。 我有可以正常工作的python代码，但我正在努力将其转换为R def uncompress_file(file_location_gz, file_location_save):
with open(file_location_gz, "rb") as f:
data = f.read()
data2 = gzip.GzipFile(fileobj=BytesIO(data),
浏览 32提问于2020-10-19得票数 0
我试图将几个不同的.csv文件(压缩为.gz )从一个URL插入到相应的表中。这些文件也每天都会被添加。我的想法是将它们全部下载到一个目录中(例如oracle/物)，解压缩它们，然后在.csv上执行插入操作(在特定时间自动完成)。
例如
`somerandomsite\stuff\budget-071220.csv.gz
somerandomsite\stuff\budget-081220.csv.gz
somerandomsite\stuff\sold-071220.csv.gz
somerandomsite\stuff\sold-081220.csv.
浏览 4提问于2020-12-08得票数 0
回答已采纳
我的目标是从第三方web服务器获取一个zip文件，获取包含在其中的CSV文件，并遍历内容，将其逐行放入数组中进行进一步处理。
我正在抓取的文件大约有2000行长。
这是我目前拥有的：
$zip = URL_TO_FILE;
$internal_file = 'zipped_file_name.csv';
$ext = pathinfo($zip, PATHINFO_EXTENSION);
$temp = tempnam(sys_get_temp_dir(), $ext);
copy($zip, $temp);
$file = file_get_contents
浏览 2提问于2014-07-26得票数 0
我有两只蜘蛛。假设A和B。A抓取一堆urls并将其写入csv文件，B抓取这些urls中的内容，从A生成的csv文件中读取。但在A可以实际创建文件之前，它会从B抛出FileNotFound错误。我怎样才能让我的爬行器表现得让B一直等到A带着url返回呢？任何其他的解决方案都会很有帮助。 WriteToCsv.py文件 def write_to_csv(item):
with open('urls.csv', 'a', newline='') as csvfile:
fieldnames = ['url']
浏览 24提问于2020-01-16得票数 0
我需要抓取带有"result-title“类的所有'a‘标签，以及带有类’result-price‘和’result-span‘的所有'span’标签。然后，跨多列将输出写入.csv文件。当前代码不会将任何内容打印到csv文件。这可能是糟糕的语法，但我真的看不出我遗漏了什么。谢谢。
f = csv.writer(open(r"C:\Users\Sean\Desktop\Portfolio\Python - Web Scraper\RE Competitor Analysis.csv", "wb"))
def scrape_links(s
浏览 2提问于2017-11-25得票数 1
我有两个python文件，它们使用Selenium和Beautifulsoup进行Web抓取，并将结果存储在单独的CSV文件中，即file1.csv和file2.csv。现在，我想将这些文件部署到Azure云上，我知道Azure函数应用程序将是理想的选择。但是，我不知道函数应用程序将如何支持Selenium驱动程序。 基本上，我想定时触发我的两个web抓取文件，并将结果存储在两个单独的文件file1.csv和file2.csv中，这两个文件将存储在Azure云上的blob存储中。有人能帮我完成这项任务吗？ 如何在Azure函数应用程序上使用selenium驱动程序？
浏览 12提问于2020-12-18得票数 0
回答已采纳
我试图将一个csv.gz文件复制到我创建的表中，以便开始分析地图的位置数据。我遇到了一个错误，说明字符太多了，我应该添加一个on_error选项。但是，我不确定这是否会帮助加载数据，你能看看吗？
数据源：
SELECT * FROM staged/array-of-things-locations-1.csv.gz
CREATE OR REPLACE TABLE ARRAYLOC(name varchar, location_type varchar, category varchar, notes varchar, status1 varchar, latitude number,
浏览 9提问于2020-01-10得票数 3
回答已采纳
我一直在尝试解压缩一个.gz文件，并从它创建一个csv文件。然后我需要对csv文件进行排序。但是，在创建csv文件并对其进行排序后，我一直收到错误。 我创建的文件如下所示： with gzip.open("test.csv.gz", 'rb') as f_in:
with open("test.csv", 'wb') as f_out:
shutil.copyfileobj(f_in, f_out) 创建文件后，我读入了排序后的csv文件，如下所示： with open(filename, &
浏览 86提问于2020-09-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
