我正在尝试用Google sheet和ImportHTML (以及它的变种，如ImportXML和ImportData)从网页上抓取股票行情。它可以在一些网页上工作，但不能在其他网页上工作。我无法从其中导入数据的网页的一个例子是。
我使用了以下代码：=IMPORTHTML("https://www.barchart.com/stocks/performance/price-change/advances","table",0)。有没有办法下载或抓取这些数据？
浏览 9提问于2020-06-15得票数 0
1回答
Nutch:数据读取和添加元数据
、、、、
我最近开始寻找apache nutch。我可以做设置，并能够用nutch抓取我感兴趣的网页。我不太理解如何读取这些数据。我基本上希望将每个页面的数据与一些元数据(现在是一些随机数据)关联起来，并将它们存储在本地，稍后将用于搜索(语义)。我需要使用solr或lucene来做同样的事情吗？我对所有这些都是新手。据我所知，Nutch是用来抓取网页的。它可以做一些额外的功能，比如向爬行的数据添加元数据吗？
浏览 1提问于2012-05-27得票数 5
回答已采纳
我正在建立一个使用Java脚本的web服务的网页。目前，我已经实现了这个API，它将数据显示在网页上。但是，很多时候由于服务器故障而没有接收到数据，网页变成了空的。 因此，我希望从API获取数据并将其存储在本地，然后以相等的时间间隔更新这些数据。因此，我的应用程序总是可以使用本地存储的数据，并且网页永远不会变成空的。 如何做到这一点，请分享你的观点。
浏览 14提问于2019-07-03得票数 0
回答已采纳
我有多个网页，只包含一个数字的HTML代码，没有其他的。这些是从我制造的物联网设备上更新的。我也有一个主要的数据网页，这是为了在一个页面上显示所有的数据。但是，我不知道如何在主数据网页的HTML代码中提取数据网页的数量。
我发现唯一的解决办法是使用iframe，但这似乎非常笨拙，而且不“美观”。有没有办法使用HTML，或者javascript来做到这一点？我对web开发非常陌生。唯一的限制是我不能更改从IoT设备上传数据的方式，因此必须从只包含数字的单个数据网页中提取数据。
提前感谢:)
浏览 0提问于2020-05-12得票数 1
如何从渲染的网页中提取数据？其中java脚本将随时间更新数据。有没有可能编写用户脚本，可以从网页的java脚本访问变量？请建议实现这一目标的可能方法。
浏览 2提问于2009-11-20得票数 0
好的，我有一个基本的网页，只需要加载一个简单的表单。
此表单提交一个文本字段和一个单选按钮选择。非常简单。
它将其发送到使用该数据的网页，并基于该数据显示网页。
我想知道的是，我如何将这些数据提交到位于不同服务器上的网页，并显示该网页将在Iframe中显示的内容。
我问的原因是，我只是希望有一个iframe，几乎有一个标题，留在他们的结果网页的顶部与广告锚定。
希望这一点足够清楚。我就是找不到我想要的：
谢谢大家！
浏览 0提问于2012-12-25得票数 1
3回答
我不确定如何用最好的方式来表达它，但我正在寻找一种在网页上显示数据的方法。示例:在网页上显示IRC频道消息，当消息被发送到IRC频道时，该消息同时(或几乎没有延迟)输出到网页。或者当数据被插入到数据库中时，它同时被输出到一个网页中(同样，或者只有很小的延迟)。这样的功能是如何实现的？这样的特性可以用JS/JQuery实现吗？我想是的，因为Mibbit似乎就是这样工作的(AJAX)。一个例子或伪代码解释将不胜感激，因为我完全不知道从哪里开始，我需要什么。
浏览 2提问于2009-10-23得票数 10
回答已采纳
1回答
我正在用Python编程。我想从网页中提取实时数据，而不需要刷新it：：。
我认为实时数据网页是用AJAX编写的，但我不太确定。我想用这个程序打开一个网络浏览器，但我并不知道/像这样.还有别的办法吗？
我想每秒钟用最新的数字填充程序中的字典(甚至SQL数据库)。请在蟒蛇里帮助我，谢谢！
浏览 4提问于2011-08-09得票数 2
1回答
相对来说，我是蟒蛇的新生。我刚刚学会了如何使用python识别网页中的urls。但是，现在我想从网页中的图表中提取数据。
我有三个问题需要有意见。
它需要登录才能看到网页。(用户名:18521057966；pw:saifmf)
无法从源代码中找到数据(我假设为html)
如果我们能找到哪一部分是图表，我们如何提取数据。
浏览 1提问于2015-04-23得票数 1
2回答
：显示报告结果
、、
我想在我的网页上显示来自订单的数据，通过他们的API使用PHP。
如果您按照页面，您将下载您想要的报告，但我需要显示数据从广告管理器直接到我的网页。
我到处寻找解决这个问题的方法，但是除了读取下载的文件之外，我什么也找不到，这给我的网页增加了大量的“页面加载时间”。
谢谢您抽时间见我。
浏览 0提问于2019-02-25得票数 1
我有一个无限滚动的网页(只向下滚动)。我自动滚动，但过了一段时间，页面变得太大，无法进一步滚动。我从源代码中手动删除了读取的DIV块，它将网页大小减少到正常，但滚动速度仍然没有提高。我只能滚动1-2%的网页。有没有办法让我在这个网页的客户端获取完整的数据？我的目标是在下载源代码后，使用它们的类名访问某些元素。
浏览 2提问于2014-12-22得票数 1
1回答
如何使用PHP，AJAX，JQuery从数据库中自动获取最新的数据到我的网页？
我使用了以下代码，它工作得很好。但我需要在我的数据库中输入新数据后立即获取并在我的网页上显示更新后的数据。
<?php
$hostname = '127.0.0.1';
$username = 'xxxxxxxxxxx';
$password = 'xxxxxxxxxxx';
try {
$dbh = new PDO("mysql:host=$hostname;
dbname=sensor
浏览 0提问于2015-10-07得票数 0
当我打开像Youtube这样的网页时，我会看到灰色的部分，这意味着它正在加载数据。
当我建立一个网页时，我怎样才能产生这样的效果？
一般的回答就够了！谢谢。
浏览 0提问于2020-02-12得票数 0
回答已采纳
1回答
我是jquery/ajax的新手，我需要一些帮助来从不同的网页获取数据，假设我想使用jquery/ajax从特定的网页获取数据，我只想从分配给该页面的类中复制数据，例如：
<div class="stats">
<dl class="statscount">
<dt>total:</dt>
<dd>5,299</dd>
</dl>
20000
</div>
类存在于我想要复制数据的所有页面上，所以我想从类中的页面中获取数字，并将其保存在变量中，
浏览 0提问于2013-06-01得票数 1
回答已采纳
有没有任何方法或任何工具，我可以使用从SH脚本，网页标题，元数据，如描述，也许是一个网页的小屏幕截图或任何类似的东西？
提前感谢！
浏览 0提问于2012-07-30得票数 1
回答已采纳
我正在尝试用下面的代码从网页上的表格中抓取数据到googlesheet。 =IMPORTXML("https://backoffice.onlineathome.ondemand.in.th/exams/search", "//div//div[contains(@class, 'rt-tr-group')]") 这将在网页上显示表格的inspect元素。 enter image description here 我的代码不工作。正确的代码是什么？
浏览 41提问于2020-11-11得票数 0
我正在尝试使用python的pandas库从雅虎财经中抓取数据，使用DataReader从熊猫中提取历史价格数据，但我也想从雅虎财经的关键统计网页中提取数据，比如“价格/账面比”。但我不确定如何修改DataReader来拉取历史价格以外的数据。
我想使用pandas库来做我所有的网页抓取，pandas中有没有不同的函数可以让我为雅虎财经的不同网页拉取数据，或者修改DataReader函数来拉取其他数据？就像将所有内容都保存在HTML中？
浏览 0提问于2015-08-17得票数 0
从网页抓取数据到Chrome扩展中是可能的，但也有可能做相反的事情，即网页从chrome扩展中提取数据。
场景是:当我们在标签页中加载一个新页面时，chrome扩展将从服务器收集数据，网页可以在需要的时候从插件中收集数据。一般来说，这不是一个好的解决方案，但是当多个网页使用相同的数据数据时，而不是所有的页面都与服务器交互，只有chrome扩展才会一次并且每个页面都获取数据。
可以通过扩展从服务器采集数据，但是网页如何通过请求扩展来获取数据呢？也许这在某种程度上是可能的。
注意:讨论对于所有浏览器都是通用的，但我刚刚标记了Chrome-extensions，因为我试图从Chrome开始。
浏览 1提问于2013-07-20得票数 1
我想提取网页中嵌入的RDF (网页语义)，然后使用Java形成相应的RDF数据的可扩展标记语言。任何类型的指针/建议/帮助都将不胜感激。
例如，如果网页中有一个type="Movie"的RDF实现，我会想要形成一个带有Movie标签的XML以及它的当前属性值，如startTime等。
目前，我能够使用Apache Jena API从DB中提取数据，并从结果集中形成XML。但是我被困在如何从网页中提取相同的内容
浏览 0提问于2015-04-09得票数 3
我有一个小的python脚本，它从网页上抓取一些数据，但网页上的数据在网页命中后发生变化。是否可以打开url，等待几秒钟，然后返回数据？我的代码如下，我试图添加一些睡眠命令，但我怀疑它有那么简单……有什么想法吗？
url = "http://www.test.com"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
req = urllib2.Request(url)
req.add_
浏览 0提问于2015-03-11得票数 1
我最近开始学习Java，并使用Swing创建了我的第一个桌面应用程序。然而，我现在想开始我自己的小项目，包括创建一个桌面应用程序，可以检索和输入网页上的数据。
理想情况下，我希望从网页中输入和检索数据，该网页在web浏览器(最好是Chrome)中打开并可见，而不是在看不到数据的幕后完成这些操作。我需要我的程序有一个用Swing编写的GUI，它获取值，然后将它们输入到网页上；我需要能够从打开的网页中获取值，以及能够按下按钮-所有这些都通过我的桌面应用程序。
总而言之，你可以说我需要创建一个自动化web浏览器的应用程序，但是它需要能够对已经打开的浏览器/网页执行此操作。我应该做什么和使用什么来实现
浏览 2提问于2016-09-01得票数 0
1回答
我使用RichFaces开发一些网页，基本上我想用DataTable显示我的数据列表。但是我的管理bean需要很长的时间来获取资源数据，这阻碍了网页的显示。
我的目标是动态显示它们，首先显示网页(可能还没有数据)，然后一旦我的管理bean读取了一个新数据，它就会在我的DataTable中将其显示为一个新行，你知道我该怎么做吗？或者一个类似的例子就是欣赏。
浏览 0提问于2013-04-26得票数 0
回答已采纳
我试图将Ms文件与我的Android活动文件直接连接起来，但我做不到。所以我创建了asp.net网页来连接ms，这样我就可以得到数据了。但是，我不知道如何将数据从asp.net网页传递到Android活动类？
浏览 2提问于2013-08-21得票数 0
回答已采纳
我正在用Apache (1.18版本)爬行网页。
我认为添加更多hadoop节点会使Nutch爬行网页更快。
但是，它没有。当爬行有3个和5个datanodes时，几乎没有区别。
我添加了--num-获取器参数(值为5，因为我的hadoop数据阳极的数量也是5)。
请帮我找出问题所在。
浏览 7提问于2021-06-28得票数 0
回答已采纳
4回答
我想从一个HTML页面中获取数据，然后用jQuery在另一个HTML页面上的Div中显示它。
我尝试了jQuery的get()、load()和ajax()方法，但无法获得数据。这是我的代码：
我的密码怎么了？
是否可以从ASP.NET网页中获取数据，然后将其显示在HTML页面上？
如何从网页中的Div获取数据，然后将其显示在另一个网页上的另一个Div中？
提前谢谢..。
浏览 11提问于2012-02-18得票数 4
回答已采纳
1回答
从网页获取数据时，如果网页不提供结构化数据馈送，推荐的方法是什么？我认为这仅仅是做一个NSURLRequest，然后从responseData(NSData*)中获取你需要的东西，这是正确的吗？我不太关心Xcode中的实现，我更好奇的是在我开始对一系列数据进行“猎杀”之前，实际收集数据。
加里
浏览 0提问于2010-03-17得票数 0
回答已采纳
1回答
我有一个网站，应该是从一个网页表格接收数据。我无法访问网页的代码。
我可以输入链接，其中的数据应该被发送到web表单，它发送给我的数据以字符串的形式，我的网页。我应该收到它并把它存储在数据库里。
我用一个空的公共web方法创建了一个web服务，在那里我可以接收数据。我试着在我的网页上实现了几个可以访问数据的函数，但我似乎无法得到它。我尝试过HTTPListeners和HTTPWebRequests，但我不确定我是否正确地使用了它。
web服务中的代码
public class WebService : System.Web.Services.WebService
{
public We
浏览 1提问于2013-10-15得票数 0
1回答
我正在运行的代码打开了一个网页来获取数据。一旦我打开一个新的选项卡，并尝试从该网页上刮取数据，它就会从原来的网页中抓取数据。有什么命令或功能我应该试试吗。创建一个新选项卡的行-
driver.switch_to.new_window('tab')
任何帮助都将不胜感激。
浏览 2提问于2022-09-15得票数 -1
我遇到了一个问题，就是如何将网页api设计为图像i attached.there是8节(标记为红色框)的数据应该显示在一个网页中。如何为这个页面设计api？一个api用于获取一个数据，还是一个api用于获取前端和后端之间的多个数据？
浏览 3提问于2022-01-26得票数 0
我想要一个Java应用程序，将捕获所有的图像(最好是其他标签中的数据也)从一个网页，并写他们的链接到一个excel文件。
虽然我对Excel文件和Java了如指掌，但我想知道是否有任何方法可以从网页中捕获图像。
在谷歌上快速搜索也没什么帮助
浏览 0提问于2013-10-04得票数 0
我遵循DJango-tables2 ，并能够使用以下命令在终端中创建数据集：
Person.objects.bulk_create([Person(name='Jieter'), Person(name='Bradley')])
但是，直到我点击刷新按钮，网站上表中的新数据才会显示出来。我的问题是，如何在没有网页上任何人工交互的情况下更新/刷新表格。
我试图实现的是，只要有新的数据进来，就可以在没有人工干预的情况下更新网页上的表格。我对此比较陌生，任何建议都将不胜感激。
谢谢。
浏览 1提问于2017-12-29得票数 1
1回答
我正在尝试使用以下代码显示网页
QWebView *view = new QWebView();
view->load(QUrl("qrc://images//sample page.html/"));
view->show();
示例page.html被添加到项目资源/图像中。网页框架正在加载，但我看不到任何html数据。
我使用下面的web url进行了测试，它加载了页面。
view->load(QUrl("http://www.google.com/"));
浏览 2提问于2012-05-31得票数 4
回答已采纳
1回答
嗨..。我想知道如何从url获取或获取数据(例如:在下面的url http://abc.xyz.com中，我只需要获取xyz，并且必须重定向到该xyz网页)，并且必须根据我获取的内容将其重定向到网页。 谢谢你
浏览 6提问于2010-04-14得票数 0
我正在尝试做一个网页部件，显示当前网站的所有页面。
为了代表它，我只需要标题，描述和网页的网址。
我发现每个页面都在“页面”列表中，但没有标题等数据。
在SP2007中获取页面数据有什么解决方案吗？
浏览 5提问于2014-05-20得票数 0
我有一个小的本机应用程序的iPad只与UIWebView。此应用程序可以将数据存储在SQLite数据库中。我可以从UIWebView内部的网页中读取JS中的这个数据库吗？浏览器将SQLite的数据库文件存储在哪里？数据库可以在网页和原生应用之间共享吗？
非常感谢。
浏览 1提问于2011-10-24得票数 1
我有一个PHP电子商务网站，销售电子书。
每本电子书都以静态超文本标记语言网页的形式存储在亚马逊S3上，该网页还链接到许多CSS、JS和字体文件。
例如：
我希望能够限制对此文件的访问，以便只有我的数据库中的特定注册用户可以访问它。我该怎么做呢？
亚马逊的S3权限属性似乎只允许访问特定的亚马逊网络服务账户、IP地址或完全公开。因此，很明显，我可能不得不在应用程序端做一些工作。
我如何限制对亚马逊S3静态网页的访问，以便只有我的数据库中的特定注册用户才能访问它？
浏览 0提问于2017-11-03得票数 0
我是新手在网络开发，我想做远程控制我的树莓派的网页。在raspberry上，我连接的传感器很少，我可以通过在192.168.1.100:9997上发送请求来获取数据。有一些代码是用Python编写的。例如，如果我尝试使用Putty获取数据，则一切正常。现在我想建立TCP连接，以便通过我的网页读取数据。我搜索了几天，发现这可以通过创建Websockets来实现。有很多工具，我找到的最多的是Node.js。据我所知，Node.js可以创建Websockets，也可以为网页提供服务(而不是Appache )？
例如，我运行这个Websocket服务器只是为了从"server.js“中的RPi
浏览 1提问于2015-10-07得票数 0
我正在构建一个网页，从服务器上拉出数据并显示出来。数据可以改变，我希望能够在不刷新页面和不使用setInterval的情况下改变网页上的数据。我如何使用Javascript做到这一点？这可以用Backbone.js来完成吗？
谢谢
浏览 0提问于2013-12-09得票数 0
嗨，我正在尝试解析一个网页，其中有无限的分页(滚动给出更多的项目)与简单的html dom解析器。但我只能获得第一页的数据。如何获取另一个网页的数据。
<?php
require 'simple_html_dom.php';
$html = file_get_html('http://www.flipkart.com/mobiles/pr?sid=tyy,4io&otracker=ch_vn_mobile_filter_Mobile%20Brands');
foreach ($html->find("div.pu-visual
浏览 1提问于2013-07-10得票数 0
回答已采纳
我正在为学校做一个项目，我有这个网页和一些搜索结果。当我回到搜索结果页面，浏览器要求“确认表单重新提交”，我想避免这一点。
到目前为止，除了搜索网页寻找解决方案之外，我还没有做任何事情来解决这个问题，也没有找到一个解决方案。
浏览器消息:确认表单重新提交此网页需要您之前输入的数据才能正确显示。您可以再次发送此数据，但这样做将重复此页面以前执行的任何操作。按“重新加载”按钮重新提交加载页面所需的数据。ERR_CACHE_MISS
浏览 2提问于2019-08-17得票数 0
回答已采纳
3回答
网站预加载器jQuery
、、、、
我在做一个网站，我有一个问题。或者更确切地说，我不知道如何解决空白页问题。
我正在制作一个网站，如果你向右滑动，一些数据将被插入到数据库中，然后网页将刷新。刷新后，将显示一个空白页面，然后显示包含所有html的普通网页。
如何在DOM准备好之前将加载器图像放在空白页面上？我使用的是jquery和jquery mobile。
网页是这样的：。如果您向右或向左滑动，它将显示一个警告框，然后页面将刷新。我希望后显示的空白页面是一个加载图像。
浏览 1提问于2017-02-20得票数 0
2回答
如何进行一个全局数据库查询(使用PHP)，然后使用网页上不同位置的所有输出(多行)？
我读到可以为需要数据的网页上的每个特定字段调用javascripts，但这在性能方面效率很低。
网页将联系一种目录，每个目录旁边都有版本号。这些版本号存储在数据库中，并且为20个不同的字段调用数据库20次将是低效的。
对于如何在页面加载时全局运行PHP查询，然后在页面的不同位置使用不同的输出，有什么建议吗？
使用所需输出的示例进行问题更新：
该网页应显示以下输出：
Document Name Document Version
DEPT A DOCS:
Doc ABC
浏览 2提问于2014-02-14得票数 1
1回答
目的
我正在尝试做一个网站表单的通用答案数据库。该表单是对计算机硬件规格的描述，我正在尝试使其基于型号字段，其他字段被自动填充。带有的扩展有两个按钮，" populate“，它将基于model字段，检查数据库中是否有匹配的条目，然后根据它将数据填充到表单中。第二个按钮是“保存”，它将获取字段中的数据，并将其与模型字段相结合，并将其放入数据库中。
问题
所以，我的主要问题是如何与网页本身交互，如何从网页中获取数据，然后如何对字段进行更改？
浏览 2提问于2014-12-04得票数 3
我正努力想出一个带宽成本最低的网站：
假设一个用户带宽很紧，即使加载一个网页对他来说也是“昂贵的”。如果网页被保存在他的电脑里。然而，他需要传输和接收数据，如文本和压缩的媒体文件。
有办法这样做吗？
浏览 1提问于2014-04-04得票数 0
回答已采纳
我试图创建一个网页，在那里用户可以输入子subreddit名称，然后该网页返回的数据基于该网页，如帖子，或版主的名字等。
我想在nodejs/express中创建一个REST api。
我做了一些研究，我认为我必须从我想要的subreddit中获得json数据，然后获得相关数据……
我困惑的部分是我该如何开始？我看到的一切都与python有关，但我需要在nodejs中完成。
同样，json也不会一直改变格式……对于一个子subreddit，它将与另一个子subreddit不同
浏览 9提问于2019-11-16得票数 0
4回答
这里有一个API服务器，它可以给我实时消息:每一分钟都会有一些新的东西要检索。这也是我的网页，有一个Javascript，它将要求API每分钟获取一次新闻。
这可不好..。除非我的网页是为单个用户而设的，并且一次只能在一台机器上打开(这不是互联网的情况)。实际上，API限制了我每分钟可以执行的调用数:假设如果我每分钟执行1次以上的调用，API将禁止我。如果100个用户将加载我的网页，API将每分钟收到100个电话(！)。
由于流是我的网页，>>调用>>，所以我认为，如果不插入另一个从>>服务器延迟加载的节点，就没有解决方案。
我的网页>>调用&g
浏览 1提问于2013-07-31得票数 3
回答已采纳
2回答
我想在我的web应用上建立一个教育搜索引擎，所以我决定使用PHP从我的网页上抓取大约10个网站，并将数据存储到我的数据库中以供以后搜索。如何检索此数据并将其存储在数据库中？
浏览 0提问于2011-05-07得票数 1
2回答
我在我的网站上有一个功能，允许我的用户创建一个自定义的“网页”。他们可以在其中添加HTML元素、CSS和自定义javascript代码。
我计划用TEXT或MEDIUMTEXT将整个网页(HTML，css，javascript，jquery)代码存储在MySQL数据中(除非你有更好的解决方案？)。我也在使用PHP。
下面是我的插入代码的一部分：
$stmt = prepare("INSERT INTO webpages (content) VALUES (:content));
...
如何保护插入到数据库中的内容/网页代码，和/或在显示文本时保护文本？
下面是检索代码的一部分：
$s
浏览 0提问于2019-07-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
