1回答
我正在尝试用经典的asp抓取网页。为什么，因为我有一个asp文件，我试图包括在2个域，我宁愿没有2个副本更新。
我对整个网络抓取的事情都是新手，并且很难找到一个关于如何用经典的asp (不是我喜欢的，但我坚持使用的)如何去做的“笨蛋”教程。我不需要任何花哨的东西，只需要从here.asp抓取整个页面的源代码，并将其发布在myotherpage.asp上。
在代码或教程中提供一点帮助将不胜感激。
浏览 0提问于2017-03-10得票数 0
1回答
我正在尝试通过网络抓取页面上的5个表: www.lme.com/copper.asp
我可以对整个页面进行webscape，但在没有HTML格式的情况下，我在将表格抓取成适当的数据帧时遇到了问题。
library(XML)
lme.cu <- readHTMLTable('http://www.lme.com/copper.asp',stringsAsFactors = FALSE)
如果你能帮助我，我将不胜感激。
浏览 0提问于2012-03-15得票数 1
回答已采纳
2回答
从asp页面获取数据
、、、
我想知道有没有任何方式来抓取从ASP页面生成的html。我正在尝试从页面中拉出一个表，并且我愚蠢地使用了一个静态的html页面，这样我就不必在测试代码时不断地查询这个页面所在的服务器。我编写的用于从页面抓取未标记的表的javascript代码可以工作。然后，当我将其与实际页面实践时，发现ASP页面不会在.get上生成一个带有jquery请求的可视页面。
有没有办法在页面中查询我需要的表，以便ASP页面在请求时返回一个有效的页面？
(我也只能使用javascript和perl来解决这个问题，它所在的服务器将不会运行php，我也不想学习ASP.NET来通过添加专有软件的问题来解决这个问题)
浏览 1提问于2010-06-17得票数 0
3回答
我是网络抓取的新手，并试图抓取以下网站：
我正在尝试使用python进行抓取。我已经尝试了请求，PhantomJS，selenium chromedriver来获取html。但是我得到的html与我在使用google chrome进行检查时看到的html不匹配。
我对抓取非常陌生，对html的了解很少，对JavaScript几乎一无所知。我的主要难题是获得我在google chrome中看到的html，这样我就可以开始抓取了。
提前感谢！
浏览 30提问于2018-02-01得票数 0
我是网络抓取的新手，对requests和BeautifulSoup也不是很熟悉。
我正在尝试用BeautifulSoup抓取aspx网站。但是要获得我想要抓取的值，我首先需要选择一个下拉值，输入一个ID，然后按submit。
这有可能吗？
任何帮助都将不胜感激！
浏览 4提问于2020-09-08得票数 0
大家好，我正在尝试从bungies list.aspx 中抓取并显示一个好友列表，并在桌面应用程序中显示它们。VB之类的
我怎么才能做到这一点呢？这跟asp有关系吗？有没有可以教我如何抓取和显示信息的教程？
浏览 0提问于2011-02-02得票数 1
回答已采纳
我希望为asp.net mvc应用程序创建一个解决方案，该应用程序显示从网络上抓取的非结构化课程描述。网络服务器将在一个网络托管公司，而描述数据库将在一个专用网络上，所以我想通过一个WCF服务传递给mvc应用程序的描述。对于描述的主体，我是否只想使用字符串属性...
public class CourseDescription {
// data fields
public string CourseTitle { get; set; }
public int Days { get; set; }
public List<DateTime> Upc
浏览 0提问于2010-08-16得票数 0
回答已采纳
我正在尝试为网络爬虫写一段python代码。我想检查我要抓取的页面是否是HTML页面，而不是像.pdf/.doc/.docx等那样的页面。我不想用扩展.html来检查它，因为asp、aspx或像这样的页面不会显式地.html扩展，但它们是.html页面。在python中有什么好的方法吗？
浏览 2提问于2013-09-19得票数 3
2回答
我有一个使用C#.NET编写的桌面网络摩天大楼应用程序，它的工作非常简单。用户将输入数据导入到txt/csv/Excel中。该应用程序将抓取和组织的结果导出到输出文件(csv，html)中。
我怎样才能把它作为一个网站在线访问呢？我以前没有做过web编程(只在桌面上)，我也不知道任何web编程语言。但我认为我可以学习ASP.NET，并用它创建类似的网络摩天大楼功能。
我有什么样的网络托管要求？
浏览 2提问于2012-09-26得票数 0
我计划实现亚马逊的CDN()，它被称为CloudFront in ASP.NET MVC3和c#。
我已经在谷歌上搜索过了，但是对于下面提到的几件事，我还是有点困惑。
是否必须先将所有静态资源上载到CDN网络，然后才能使用或由Amazon管理，以抓取网站的静态资源，即预先定义文件夹或网站目录？
如果我们在静态资源中有任何变化，或者每次我们必须将更新的资源上传到CDN网络时，亚马逊都会自动更新它的副本吗？
浏览 3提问于2012-07-04得票数 0
回答已采纳
1回答
我有一段跟踪代码，可以捕获REMOTE_HOST、SERVER、REQUEST_METHOD、SCRIPT_NAME和QUERY_STRING。它从ServerVariables抓取这些内容，并按用户和IP将它们保存在数据库中。
在ASP.NET中获取回发到URL的确切内容的最佳方法是什么？有HTTP_POST吗？我宁可不抓取一些东西，然后必须对其进行解析。
浏览 34提问于2010-03-19得票数 0
回答已采纳
1回答
我正在尝试构建ASP.NET Core应用程序，它允许我从网络上共享的网络驱动器上浏览照片。
注意:我尝试使用IIS虚拟目录来映射网络驱动器，但是ASP.NET Core使用了Kestrel，这不允许我使用这种方法。
请有人给我写一些非常简单的代码，演示如何配置ASP.NET Core，以某种方式映射/链接网络文件夹，并在MVC视图中浏览照片。
浏览 1提问于2018-02-18得票数 0
回答已采纳
1回答
我正在寻求与销售人员的整合，因此在他们的资源网络上看不同的方式。我希望在.Net平台上建立这个网络服务。我正在考虑简单的抓取服务。欢迎使用最佳实践和代码示例。
浏览 0提问于2009-07-10得票数 2
回答已采纳
1回答
我使用这个基于节点的网络抓取器。
我得在我的热水器里做node test.js。我如何从客户端运行它？例如，从客户端发送ajax请求并进行抓取。
浏览 1提问于2016-03-18得票数 0
1回答
web数据抽取
、、、
作为我工作的一部分，我计划从网络资源(网络抓取)中提取数据。我想从我公司的10公里半径附近提取信息。
我想提取信息，如共管公寓，它的地址，单位数量和价格每平方英尺。其他的事情，如该地区的学校、幼儿园和酒店的数量。
我知道我需要从几个来源/网页中提取。我还将使用Python。
我想知道我应该使用哪个图书馆。网络抓取是唯一的方法吗？我们能从谷歌地图中提取信息吗？
此外，如果有人有任何经验，我将非常感谢你能在这方面指导我。
非常感谢，伙计们。
浏览 2提问于2017-10-17得票数 0
回答已采纳
2回答
最近，我一直在阅读关于网络爬行、索引和服务的文章。我在上找到了一些关于谷歌抓取网络和提供搜索服务的过程的信息。我想知道的是他们是如何保存所有这些索引的？我是说，有很多东西要储存，对吧？他们是怎么做到的？
谢谢
浏览 2提问于2011-09-01得票数 7
回答已采纳
2回答
使用R、内容进行Web抓取
、、、、
我刚开始在R中进行网络抓取，我把下面的代码：
mps <- read_html("http://tunisie-annonce.com/AnnoncesImmobilier.asp")
mps %>%
html_nodes("tr") %>%
html_text()
以获取我在文本文件中输入的所需内容。我的问题是我想消除这些红点，但我不能。你能帮帮我吗？我认为这些点正在取代html代码中的<b>和<br>。
浏览 4提问于2017-05-07得票数 3
回答已采纳
1回答
我看到一些像这样的搜索网站，我想知道他们是如何在price，image和description等其他网站上抓取数据并将其显示在他们的网站上的。
我正在考虑使用Solr来索引数据，使用Nutch来抓取数据。我是网络爬行和索引的新手，到目前为止，我只能抓取网页的内容。
Solr Nutch能做这种爬行吗？又是如何做到的？
浏览 1提问于2015-08-28得票数 0
3回答
twitter的Webhook
、、、、
我正在为ruby on rails应用程序开发一个tweet抓取器，我想使用官方的ruby gem。我做了相当多的实验，一切都很好。但我想知道，当某个事件发生时，我如何才能得到通知(任何人转发，提到我，使用标签，...)。twitter提供了什么网络钩子吗？如果不是，解决这个问题的最佳实践是什么(基于用户的抓取，每x分钟自动请求一次，...)？
感谢您的指点。
诚挚的问候
浏览 1提问于2014-10-24得票数 4
下面的代码非常适合于绑定从网络上抓取的实际urls。我的问题是，它不适用于生成图像的*.aspx urls。如果我转到*.aspx页面"~/UserPages/Photo/GetThumbnail.aspx?id=7"，就可以很好地显示一张图片。但是，它不适用于datalist。任何想法，为什么和如何我可以解决这个问题。谢谢!字符串数组'imageurls‘由许多*.aspx图像urls组成。
<asp:DataList ID="dlImages" runat="server"
RepeatColumns="5&#
浏览 3提问于2009-04-09得票数 1
回答已采纳
我目前正在写一个脚本，涉及(希望)屏幕从我的工作场所的网页上抓取大量数据。这是一个ASP.NET页面，在Chrome或Internet Explorer上查看时根本不需要登录。
我已经尝试了“会话劫持”我的internet explorer会话，以便让URLLIB2在Python中读取它，但我仍然被拒绝访问(在添加internet explorer正在使用的ASP.NET_Sessionid之后...)
诚然，我对internet网络知之甚少，所以我可能做错了什么，但我需要从Python访问这个网页。如果另一个库工作得更好，我愿意使用它。
浏览 0提问于2013-05-01得票数 1
我从网络抓取开始，我正在寻找一种方法来找到一个公司名单的邮政编码，使用Python和网络抓取。
为此，我想使用熊猫库，因为我的文件是excel格式的selenium库，可以在互联网上搜索与公司对应的邮政编码。
例如，在A列中有company_1，所以算法必须在因特网上搜索"company_1“，并在Excel的B列中返回相应的邮政编码。困难的是，我没有一个网站来联系每一家公司。
这有可能吗？
提前感谢
浏览 1提问于2022-09-16得票数 0
回答已采纳
1回答
方法不允许第一个API
、、、
我已经经历了一些网络抓取教程，现在尝试一个基本的api抓取器。 这是我的代码 from bs4 import BeautifulSoup
import requests
url = 'https://qships.tmr.qld.gov.au/webx/services/wxdata.svc/GetDataX'
response = requests.get(url, timeout=5)
content = BeautifulSoup(response.content, "html.parser")
print (content) 提出了不允许的方法
浏览 10提问于2019-10-11得票数 0
回答已采纳
需要启动应用程序抓取，我需要什么工具？从哪里开始？我可以做网络报废，但我不知道如何刮应用程序，安卓或ios。
任何帮助都是非常感谢的。
浏览 4提问于2022-04-26得票数 0
我需要从一个不属于我的域的页面中抓取一些数据。我知道如何加载页面服务器端，并分析它在各种不同的语言(asp.net，PHP等)，然而，我需要抓取页面后，它已经登录。
<div id="profile" data-userid="1234"></div>
除非登录，否则data-userid属性中不会有ID。可以在服务器端登录站点吗？(我确实有登录凭据)
谢谢,
托马斯
浏览 0提问于2012-03-23得票数 0
回答已采纳
1回答
从像素监视器中抓取数据
、、、、
我的本地网络上有一个Optihed1-18Es热泵设备(德语：)，我可以通过它的IP地址对其进行监控。我以前从来没有使用过数据抓取，所以我不熟悉html的结构和抓取过程。我想知道是否有可能从这个设备中抓取变化的值，并将它们输入到我的influxdb数据库中？我已经读到，抓取的数据应该首先放入普罗米修斯数据格式。
以下是IP地址接口的屏幕截图：
我可以单击箭头并转到不同的窗口来查看其他数据点。
从网络选项卡中，我收到以下信息：
浏览 9提问于2021-10-11得票数 0
1回答
从网络抓取开始
、、
首先，我想让您知道，我对html和css非常陌生，目前我还不知道如何使用Java脚本。我在看关于如何制作网络刮刀的视频，我有一些问题：
我看到了很多教程在python中进行web抓取，因为我非常了解python，所以我问自己，什么更适合web抓取？Python还是Java脚本，我应该使用哪一个？我可以将python程序与html连接起来吗？
我需要使用网站抓取一个网站，我正在尝试做一些事情，从其他网站获取特定的数据，然后显示在我的网站上，这样人们就可以看到他们。你对如何开始有什么建议吗？
请注意，我不是太好的英语，没有教程或视频的网页刮我的语言和借口在这篇文章的错误。
浏览 1提问于2019-12-31得票数 0
回答已采纳
1回答
我目前正在做一个学校项目，我正在从一个自行车网站上抓取结果。我设法构建了一个抓取器来遍历所有包含结果的urls。我想将事件标题添加到每个表的第一列，但我面临一些困难。
下面是我的代码：
# list of needed packages
import requests
from bs4 import BeautifulSoup
import time
import csv
# create string of urls to scrape
urls = ['https://cqranking.com/men/asp/gen/race.asp?raceid=36151', &#
浏览 0提问于2019-12-30得票数 0
3回答
我的任务是创建一个网络抓取软件，我甚至不知道从哪里开始。任何帮助都将不胜感激，即使只是告诉我这些数据是如何组织的，或者网站使用的是什么“类型”的数据布局也会有所帮助，因为我可以用谷歌搜索那个词。
基本上，我需要从这个网站提取“谐波值”。具体地说，我需要在第二个链接上显示9个数字。这些数字不会传递给HTML，它们似乎每隔几秒钟就会自动更新一次。我需要能够实时提取这些值，因为它们更新。即使这是不可能的，我仍然需要证明做这样的网络抓取是不可能的。我没有得到任何API的任何后端，并不知道他们的网站如何接收数据。
总体而言，任何帮助都将不胜感激，即使这只是一些简单的搜索条件，让我在正确的方向。我目前
浏览 0提问于2013-10-26得票数 1
6回答
爬行和网络抓取有区别吗？
如果有不同之处，为了收集一些网络数据来提供一个数据库，以便在定制的搜索引擎中使用，最好的方法是什么？
浏览 2提问于2010-12-02得票数 96
回答已采纳
我的银行在我的电子邮件地址上搜索“黑暗网络”，看看它是否存在。我突然想到，他们可能会通过搜索把我的电子邮件地址放到黑暗的网络上。
是什么阻止了它们抓取搜索字符串、提取电子邮件地址、将它们与查询源相关联、以及根据一项旨在保护特定机构的活动的特定机构的已知良好电子邮件地址列表？
浏览 0提问于2019-01-29得票数 2
我以前从来没有做过网络抓取，实际上就在3个小时前，我用谷歌搜索了网络抓取这个词，看看它是什么意思……这就是我在这个问题上的能力水平，但我有一个任务是从这个网站"betstars.uk“上搜集一些不同足球比赛的数字，从我所看到的来看，它是一个javascript网站(是吗?)这使得本已困难的任务对我来说更加困难，那么JAVA的JAVA可以完成这项工作吗?或者我需要其他东西？我之所以这样问，是因为为了避免花一个多小时来学习如何使用它，却发现它不能完成工作
浏览 0提问于2016-09-13得票数 1
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
2回答
我正在尝试实现一个网络抓取爬虫作为我的ASP.NET MVC项目的一部分。它使用Html Agility Pack处理从不同URLS收集的大量数据。问题是，当我想要实际运行函数时，一分钟后从远程服务器得到“连接已重置”。当我在本地运行它时，我得到了更好的结果。我可以访问远程IIS。有什么建议来解决这个问题和/或任何替代方案吗？
浏览 0提问于2011-01-09得票数 0
我在网络抓取的时候收到这个错误
http协议错误‘，0，’有错误的状态行
什么意思？和
我怎么才能避免这种情况？
浏览 1提问于2016-02-08得票数 0
1回答
我正在做一个网络抓取项目。有没有人有抓取动态内容的想法？
基于查询字符串的动态内容类似于静态内容，但基于同一页面内控件的某些事件的动态内容是我被卡住的地方。因为在这种情况下页面url保持不变。
我正在使用C#。
提前感谢
浏览 2提问于2010-07-11得票数 0
2回答
我正在开发一个非常具体的网络抓取应用程序，它需要登录到几个网站并从它们那里检索一些数据。
我使用的是通过重写以下方法使之知道cookie的WebClient：
protected override WebRequest GetWebRequest(Uri address)
{
WebRequest request = base.GetWebRequest(address);
var castRequest = request as HttpWebRequest;
if (castRequest != null)
{
castRequest.Coo
浏览 10提问于2014-10-20得票数 2
回答已采纳
要在Python中访问Twitter，您需要注册一个Twitter应用程序。这将为您提供向Twitter进行身份验证所需的以下信息：
> consumer_key = '***'
> consumer_secret = '***'
> access_token = '***'
> access_token_secret = '***'
但是，要注册Twitter应用程序，您需要提供应用程序用于访问Twitter的URL。我想做的就是抓取与某个搜索短语匹配的推文。如果没有可访问web的服务器，我如何做到这
浏览 0提问于2014-07-21得票数 0
我正在尝试使用网络抓取方法为获取一些温度和降水数据(他们有一个应用程序接口，但我必须在我的项目中使用网络抓取方法)
我的问题是在抓取之后我不知道如何存储我的数据。
下面是我的代码示例：
import urllib2
from bs4 import BeautifulSoup
url = "http://www.wunderground.com/history/airport/KBUF/2014/5/25/DailyHistory.html"
soup = BeautifulSoup(urllib2.urlopen(url).read()
#Mean Temperature
浏览 1提问于2014-05-26得票数 0
我正在做一些网络刮刮，在java中使用jsoup以广度第一的方式。换句话说，对于每个页面，我提取所有链接并将它们添加到一个队列中进行抓取，然后在while循环中删除并刮掉urls，当队列为空时停止。我要做的是，在将链接添加到用于抓取的边界/队列之前，根据目标文档的大小对它们进行排序，以便首先对较小的文档进行抓取。在实际下载整个文档之前，是否有方法从url获取给定文档的大小？例如，在调用connection.get()加载整个文档之前，是否有一种方法可以从连接中获取http内容长度？谢谢。
浏览 1提问于2018-05-21得票数 2
回答已采纳
我目前正在试验构建脚本，因为我有一个受源代码管理的ASP.net Web部件，所以我的构建脚本在最后应该会这样做：
从网络中抓取Windows2003IISIIS VMWare或虚拟PC镜像Boot up将文件从Build文件夹复制到服务器Install it 执行任何需要的操作
我从未尝试过自动化虚拟机，但我看到VMWare和虚拟服务器都提供了自动化功能。虽然我不能使用虚拟服务器(Windows XP Home :-()，但Virtual PC可以工作。
在座的任何人都有VMWare服务器或虚拟PC 2007 SP1自动化方面的经验吗？
哪一个更适合(我运行的是windows，所以VMWar
浏览 31提问于2008-08-07得票数 20
回答已采纳
我有一个用Python编写的、使用scrapy框架的网络爬虫/爬行器。我一直在尝试使用“最后修改”日期来标识每个页面的最新更新-但我也会收集被抓取的页面的每个HTML文件。有没有更准确的方法来收集每个页面最近更新的日期？
浏览 0提问于2021-01-13得票数 0
我试着抓取链接："“。
我使用给定的两行来读取所有参赛者的名字：
table1 = soup.find("table", {'class':'standings'})
table2 = table1.find_all("tr")
但是，table2并不打印所有的表行。我发现“<--suppress HtmlUnknownAttribute -->”写在我不能抓取的所有行之前。
有没有什么特别的原因。
我只是个网络爬虫的初学者
浏览 1提问于2015-10-25得票数 0
2回答
我是python的新手。我刚开始学习网络抓取，我决定为列出的产品名称做亚马逊的网络抓取。因此，我启动了chrome dev工具，并单击了amazon产品名称上的inspect，然后记录了这个类，在本例中，这个类的名称是'a-link-normal‘。问题是我得到的结果是无。这是代码-
import webbrowser
import requests
from bs4 import BeautifulSoup
source = requests.get('https://www.amazon.in/s?k=books&ref=nb_sb_noss')
soup
浏览 7提问于2020-08-29得票数 1
我编写这段代码是为了获取我用javascript打开的页面的内容，但是我的代码不起作用。你能告诉我我的代码出了什么问题吗?如果你能向我介绍一种更好的抓取页面内容的方法，就像我想做的那样，那就更好了。
var myWindow = window.open("http://www.w3schools.com/jsref/met_win_open.asp", "MsgWindow", "width=200, height=100");
x = myWindow.document.innerHTML;
alert(x);
浏览 8提问于2014-11-04得票数 0
回答已采纳
我想抓取windows命令行(Win 7/Win 2008 Server)上网络接口的发送/接收字节数。我已经尝试过netsh、netcfg、ipconfig和net statistics命令。他们中没有人可以给我所需的信息，我已经可以在界面状态GUI (活动)中看到这些信息。
这是可能的吗？
浏览 0提问于2011-06-02得票数 0
1回答
是否有人有任何经验或建议，以建立一个当地的场所/企业数据库，用于一个网络应用程序？
抓取Yelp/Facebook /Foursquare或任何类似的有位置的网站会是最好的方式吗？
浏览 4提问于2010-09-23得票数 3
我有ASP.NET核心网络应用程序(VS2017)，我开发了角4前端项目(VS代码)，这应该是核心网络应用程序的一部分。我需要为整件事设置CI。因此，当这些项目中有任何变化时，它首先构建角4，获取工件并将它们放入ASP.NET核心项目，然后构建它并将其发布到Azure。
在这一刻，我有一个独立的回购我的角4项目。因此，理想情况下，我可以在该回购上设置CI，并让它将其工件发布到Azure存储(例如)。然后，我想有另一个CI设置的ASP.NET核心回购触发构建，第一步是‘获取这些角4工件，并将他们放在这里’。就像这样：
如果NG4 repo =>中有任何文件更改，则构建它并生成生成
浏览 3提问于2017-04-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
