如何从.txt文件中读取URL以执行requests.get并将响应保存到文件中？

文章/答案/技术大牛

发布

1回答

python、database、file、get、python-requests

我能够保存单个网址的响应，但我有一个.txt文件中的网址列表，并希望打印所有的回应。如何从.txt文件中读取URL并将响应保存在python中？这就是我目前所拥有的。谢谢!import requests with o

浏览 50提问于2020-08-06得票数 0

回答已采纳

1回答

Python :返回的文件不可读

python、flask、response、flask-restful、sendfile

在python烧瓶中实现rest时，我使用了几个选项返回一个文件(任何类型)，读取它并将其保存到本地请求存储库，但遇到以下多个错误：def download_file(): returnsend_file('any_file.pdf') r = requests.get(url = 'http://localhost:5000/download').read() 响应<

浏览 4提问于2020-01-26得票数 0

回答已采纳

2回答

如何在具有可变数据的循环中运行unix命令？

shell、unix

我想在循环中运行一个unix命令，为每次迭代替换一个变量，然后将输出存储到一个文件中。我可以使用| cat存储输出，也可以使用>将其重定向到一个文件中，但是我该如何运行循环呢？我有一个包含URL列表的文件，每行一个URL(或者我可以用逗号分隔它们，或者也可以)。

浏览 1提问于2014-01-18得票数 1

2回答

如何从文件中创建具有名称的文件，然后写入文件？巨蟒。API请求

python、api、csv、writetofile、get-request

它从文件SP500.txt中读取行。文件包含字符串，它看起来如下：BBB在get请求中替换这些字符串，并将整个url保存到文件url_requests.txt.中。api_token=XXXXXXXX&period=d 然后通过API处理每个请求，并将所有响应添加到responses.txt<

浏览 4提问于2020-12-24得票数 0

回答已采纳

3回答

可以实现哪些方法来加速python请求？阿辛西奥？

python、performance、file、asynchronous、python-requests

在下面的代码中，我能够获取每个请求并将响应保存到一个文件中。2000年的线路搜索花了超过12个小时才完成。我怎样才能加快这一进程？实现像异步机这样的东西有用吗？import requests urls = f.readlines() try:data = requests.get</em

浏览 2提问于2020-08-07得票数 0

回答已采纳

1回答

从文本文件读取多个urls并处理网页

python、url

脚本中的预期步骤如下： impo

浏览 1提问于2018-04-09得票数 0

回答已采纳

3回答

在python失败后继续处理请求

python、for-loop、httpresponse

我有一个脚本，它通过GET到API在文本文件中运行并提交urls，并将响应保存到文本文件。但是，如果在第一部分中失败，并且没有继续传递其他部分，for循环就会退出。如果脚本还未完成，我如何才能抓住失败并继续与其他人一起工作呢？sys.stdout=open("mylog.txt","w") url<

浏览 1提问于2016-06-10得票数 1

回答已采纳

2回答

Python请求:取TXT文件中的所有行，每次一行，从每个请求中获取请求，并将它们保存到一个新的TXT文件中。

python、python-requests

这里的代码从web archive.org获取一堆URLS，并将它们保存到一个新的TXT文件中。我想要从TXT文件中加载一堆url，而不是输入(写一个url地址)。因此，必须用一些代码替换x=input('URL:')，以便每次从txt文件加载每一行。x=input('

浏览 13提问于2022-05-04得票数 2

回答已采纳

4回答

从文本文件中读取urls后，如何将所有响应保存到单独的文件中？

python、file、beautifulsoup、python-requests、http-post

我有一个从文本文件读取urls的脚本，执行一个请求，然后将所有响应保存在一个文本文件中。如何将每个响应保存在不同的文本文件中，而不是全部保存在同一文件中？例如，如果我的标记为input.txt的文本文件有20个urls，我希望将响应保存在20个不同的.txt文件中</

浏览 40提问于2020-08-13得票数 1

2回答

如何在PC机本地保存有请求的文件及错误处理

python

目前，我正在做如下工作，以获得响应并将文件保存在我的PC本地- if response.status_code != status.HTTP_200_OK: return subprocess.call(['wget', url]) 但我想要的是，当response =

浏览 2提问于2018-01-27得票数 0

1回答

迭代行并替换字符- python

python

我正在进行api调用，并将响应作为一行输出到.txt文件中。 response =

浏览 3提问于2021-06-18得票数 0

回答已采纳

2回答

写入.txt和.xlsx格式时输出文件大小的差异

python、pandas

我尝试将800个JSON响应保存到.txt文件和Excel文件中。对于txt，我使用： activity_details = requests.get(url, params=activity_id(url, params=activity_id).json() df_t

浏览 0提问于2018-11-10得票数 0

回答已采纳

1回答

使用Python请求库保存大文件

python、file、http、download、request

可能重复：我知道获取url和requests.get一样简单，我可以获取原始响应正文并将其保存到文件中，但是对于大文件，有没有一种方法可以直接流到文件中呢？比如我要用它下载一部电影之类的？

浏览 24提问于2013-01-02得票数 89

回答已采纳

1回答

将刚刚更改的目录保存到文件

windows、cmd

如何将新更改的目录保存到文件中？我认为这是可行的，但是它在同一个目录中执行命令：在cmd中是否有像“执行此操作。完成后，使用新参数执行此操作”这样的操作符？我使用这个命令获取基于web的命令行的目录(使用php)。我从文件中</em

浏览 3提问于2013-08-07得票数 0

回答已采纳

1回答

Azure DevOps任务如何使用先前Azure DevOps任务的输出？

azure、azure-devops

执行DevOps释放管道时：它们都位于同一个无代理作业中(它们都是REST调用)。基本上，我试图将它们“链接”在一起，并/或将json输出从Task 1传递到Task 2 我看过关于变量的文档，但我不确定是否可以通过Task 1的输出设置变量，或者更好的是，如果存在内置的内容，比如$

浏览 1提问于2020-11-16得票数 1

回答已采纳

1回答

如何计算该文件中的多少行并打开urls？

python

我有txt文件：https://amazon.com/如何计算此文件中的多少行并为这些时间打开urls

浏览 7提问于2022-09-15得票数 0

3回答

如何从python中的url获取文件？

python、python-requests、urllib

我想用python下载文本文件，我怎么做呢？我使用了请求模块的urlopen(url).read()，但它给出了文件的字节表示。

浏览 8提问于2022-09-04得票数 2

回答已采纳

4回答

这些代码是如何工作的？

java、io

我刚开始使用java的I/O，如果我的怀疑是愚蠢的，请原谅，但是我发现理解这段代码是如何工作的很困难吗？下面代码中的变量c不会增加，即使输入流中只有一个字符，并且输出流将连续填充一个字符，但这段代码实际上工作得令人满意，我不明白为什么？FileInputStream in = null; in = new FileInputStream("xanadu.txt"); out

浏览 2提问于2013-10-19得票数 1

回答已采纳

2回答

在Lambda中使用文件的URL作为Python中的文件路径

python、amazon-web-services、file、url、aws-lambda

我正在尝试从web上的url获取一个文件，然后打开该文件，以便在我在AWS Lambda上用python制作的应用程序中使用。似乎没有办法以我需要的形式获取文件，我认为它是一个os.Pathlike对象。F=open(文件</

浏览 1提问于2019-06-11得票数 0

2回答

：IndexError:超出范围的列表索引

python、web-scraping、beautifulsoup、compiler-errors

脚本从文本文件中读取单个URL，然后从该网页导入信息并将其存储在CSV文件中。该脚本对于单个URL运行良好。Problem：我已经逐行在文本文件中添加了几个URL，现在我希望我的脚本读取第一个URL，执行所需的操作，然后返回文本文件读取第二个URL并重复。一

浏览 6提问于2019-11-25得票数 0

回答已采纳

点击加载更多