1回答
iOS如何获取注释选定的索引？
、、、、
我在地图上加载了20种不同的注释。当pin被触摸时，我想像这样抓取标题数据。
PinModel *pinModel = [self.array objectAtIndex:0];
NSLog(@"pin model %@",pinModel.headline);
这将抓取列表中的第一个，但我想基于我选择的引脚抓取标题。我将该方法放在didselect注释方法中。有没有一种方法可以让我知道哪个管脚被选中，并基于此来抓取标题？任何提示或建议都将不胜感激。
浏览 5提问于2013-12-25得票数 0
我最近正在使用Kotlin和JPA进行开发。我使用Kotlin数据类作为JPA @Entity类。
但是现在，关系出现了一些问题
@ManyToOne(fetch = FetchType.LAZY, optional = true)
延迟抓取不适用于数据类。
我了解到Kotlin数据类默认是'final‘，所以Hibernate不能为它们生成代理。
我想知道将Kotlin数据类用作JPA @Entity类是不是一个错误，或者有其他方法可以使惰性抓取与数据类一起正常工作。
浏览 4提问于2019-09-27得票数 12
回答已采纳
2回答
我正在写一个.NET的网络抓取应用程序，并希望有一些党，如arvixe托管它。
问题是，我不是很好地理解虚拟主机解决方案，另外，我来自桌面背景。
最好的方法是什么(在定时循环上抓取工作线程？对我来说，编写一个在这台主机上运行的应用程序并收集数据(web抓取)，然后将其保存到sql server数据库中？
我真的很感激一点细节，因为我是网络空间的新手。
浏览 2提问于2011-07-12得票数 0
回答已采纳
我知道抓取网站是可能的，但有没有可能让Google Sheets抓取Google Doc中的数据呢？例如，如果我有一堆google文档，它们都有一行写着上次更新: mm/dd/yyyy。有没有可能有一张谷歌工作表，上面有指向文档的urls，并让它们抓取日期
浏览 0提问于2020-03-26得票数 1
我正在尝试使用R从一个网站上抓取数据，我是在抓取数据方面的新手。
我的代码如下：
library(XML)
url1<-"http://www.covers.com/sports/NCAAB/matchups?selectedDate=2015-02-28"
data1<-htmlTreeParse(url1)
getNodeSet(data1,"//div[@class = 'data-competition-type']")
然而，我犯了这样一个错误：
Error in UseMethod("xpathApply"
浏览 2提问于2016-03-05得票数 0
回答已采纳
1回答
我正在从IMDB电影列表中抓取数据。我想刮每一部电影的链接，但不能正确地确定它是存储在页面上的位置。 链接的一部分是这样存储的:链接屏幕截图 我尝试过的： 完整代码 预期的解决方案:抓取每个胶片的链接，如果需要，可以在以后使用。
浏览 29提问于2019-07-12得票数 0
回答已采纳
1回答
我有一个建立一个网络刮擦工具的要求。抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。
客户认为python是快速和更好的web抓取的选择。您认为混合python和php仍然会带来快速的结果吗?还是坚持使用php进行web抓取更快/更好？
在这两种语言之间异步交换数据的首选方法是什么？
谢谢!
浏览 3提问于2017-05-04得票数 1
回答已采纳
8回答
每隔4行更改css
、、、
我想用不同的CSS显示从数据库中抓取的每4行：
<div class="last"></div>
但其余的应该正常显示：
<div></div>
我使用简单的查询从数据库中抓取数据：
SELECT LEN(column_name) FROM table_name
我见过这种类型的东西，但我不记得该怎么做了。有什么想法吗？
浏览 0提问于2011-07-31得票数 2
1回答
用刮取的数据填充django模型
、、、、
我让使用bs4从中抓取数据以获得乡村统计数据。但是，我想使用这些数据来填充我的django模型，使用与相同的字段，我不知道如何刮取数据。我也很难用其他库抓取表格数据，比如scrapy (芹菜)，.this是我试图废弃的表的xpath，“//*@id=”main_table_countries_today“。如果有人能帮助我，那么如何使用这个刮掉的数据来存储在django中，那就太棒了。PS不使用外部CSV或Json文件。
浏览 0提问于2020-04-10得票数 0
1回答
我正在寻找一个Java工具，从一个网站刮一个CSV，然后解析数据。似乎是一个可行的选择。是否有一种方法可以抓取一个CSV 文件，然后使用将信息保存到数据库中？
还是严格地说是为了抓取HTML代码？谢谢。
浏览 3提问于2014-10-24得票数 0
回答已采纳
我喜欢XmlSerialize的工作方式，它既简单又优雅，并且具有属性=p，但是，在序列化到xml文件之前，我在构建所有对象的集合时遇到内存不足的问题。
我正在从SQL数据库中填充一个对象，并打算使用XmlSerialize将该对象写入XML。它对小型子集非常有用，但是如果我试图从DB抓取所有对象，就会出现内存不足的异常。
XmlSerialize是否有能力让我从数据库中抓取100个对象的批次，然后编写它们，抓取下一批100个对象并附加到xml中？
我希望我不必突然进入XmlDocument或一些需要更多手工编码的工作.
浏览 3提问于2015-03-03得票数 3
回答已采纳
1回答
我正在尝试抓取一个网站。我能够从那个网站上抓取数据。我无法将抓取的数据保存到我包含的yaml文件中
我的代码：
require 'rubygems'
require 'open-uri'
require 'hpricot'
article = []
doc = open("http://www.cmegroup.com/trading/interest-rates/cleared-otc/irs.html"{|f| Hpricot(f) }
(doc/"/html/body/div/div/div
浏览 10提问于2011-07-20得票数 0
回答已采纳
我最近开始使用JSoup来抓取HTML数据，但是我在jsoup.org上找不到关于如何找到嵌套在其他div类中的div类的详细信息。
<div class="Food">
<a href="/eating/101" class="Eating">
<div class="Groceries">
<div class="Vegtables">
<div class="LeafyGreens"
浏览 3提问于2018-03-12得票数 0
1回答
我是python数据抓取和尝试从kickstarter抓取数据的新手。我使用以下代码从
我正在使用下面的代码
test_page=requests.get('https://www.kickstarter.com/discover/advanced?term=security&sort=magic&seed=2425842&page=1')
test_pagetree= html.fromstring(test_page.content)
test_loc= test_pagetree.xpath('//[@id="projec
浏览 0提问于2016-02-15得票数 0
我正在制作一个windows工人服务，它需要每24小时做一次网络抓取。
我希望它所做的抓取取决于它上次运行的时间，以及它选择它的数据。我不需要对上一次会话了解太多，但是知道上一次会话设置的布尔值就足够了。
有没有办法让员工服务记住以前会话中发生的事情？比如，从上一次会议上收集一些信息？
浏览 5提问于2022-10-05得票数 0
回答已采纳
1回答
我是编程新手，需要一点帮助从网站获得数据，并将其传递到我的PHP脚本。
该网站是。
我想插入一个名字(名字和姓氏)并检索结果。我知道您可以通过在URL中传递名称来查询站点，但我在抓取结果时遇到了问题。
我正在使用file_get_contents($URL)函数获取页面，但之后需要帮助。具体地说，如果某个名称有多个结果，我只想抓取该状态的结果。
谢谢你的帮助。
浏览 1提问于2013-03-25得票数 1
1回答
我正在尝试获得一些关于网络抓取这个网站的观点。基本上，我要做的是使用标题键作为从网站抓取数据的一种方式，并创建一个元组列表，我将把它转换为一个数据帧。 问题是导航以显示不同的结果，并使用for循环来执行此操作(例如，从前50个结果导航到下一个50个结果。 我需要访问哪些属性、类等才能从一个选项卡迭代到另一个选项卡，直到达到最大行数？ https://www6.sos.state.oh.us/ords/f?p=119:REGRESET:0
浏览 19提问于2019-09-04得票数 0
我试图使用Python来抓取一个网站，通过使用嵌入的javascript文件将数据呈现为HTML的响应来动态加载它的HTML。因此，如果仅使用BeautifulSoup，我将无法检索所需的数据，因为我的程序将在Javascript加载数据之前对其进行抓取。因此，我正在将selenium库集成到我的代码中，让我的程序等待某个元素被找到，然后它才会抓取网站。
我最初是这样做的：
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.ID, "tabla_evolucion")))
但
浏览 2提问于2019-07-29得票数 18
回答已采纳
1回答
我希望能够以编程方式(而不是在浏览器中显示)发送一个诸如“之类的网址，并以字符串(或其他更合适的数据类型？)返回页面的html结果(无论如何，是有趣的部分)，这样我就可以解析它并将其选定的部分重新格式化为匹配的文本和图像(链接到适当的页面)。
哇，这是一个屏幕抓取的问题，但实际上是一个“屏幕背后”的抓取。
有可能吗？多么?回答后100分的奖金将奖励给(或最有帮助的)答案。
浏览 2提问于2013-05-10得票数 1
回答已采纳
1回答
我有几百个URL，在那里我试图为页面上的图像抓取图像路径。每个页面都是相同的格式，但是div类对每个页面都是唯一的。
我希望能够使用Google中的导入xml来只抓取数据路径元素的内容。
我尝试使用xpath提取URL，但失败了。
<div class="uniqueid active" data-path="/~/media/Images/image.jpg" data-alt="Anything"></div>
例如//div[@class='*']/@data-path"
站点示例：
浏览 0提问于2019-02-11得票数 1
回答已采纳
1回答
作为一个实践项目，我试图从一个网站上刮取财产数据。(我只打算练习我的网络抓取技巧，而不打算进一步利用所刮的数据)。但是我发现有些属性没有价格，因此，当我试图将它们组合成一个数据帧时，会产生不同长度的错误。
下面是抓取代码：
library(tidyverse)
library(revest)
web_page <- read_html("https://wx.fang.anjuke.com/loupan/all/a1_p2/")
community_name <- web_page %>%
html_nodes(".items-name
浏览 2提问于2020-10-27得票数 0
回答已采纳
我要做的就是在我的应用程序的主页上设置一个“活动”，它可以做3件事:1)抓取本地时间/日期，2)抓取经度/纬度，3)把所有这些都放到mysql数据库中。
所以我的问题是，我是否需要扩展activity，或者我是否可以拥有一个只扩展asynctask的主类？
异步任务的原因是执行以下操作，抓取所有onPreexecute，然后将数据推送到"doInbackground“上的mysql中？
这样行得通吗？
浏览 1提问于2015-03-30得票数 0
我需要从Excel中给出的域列表中抓取数据；问题是我需要从原始网站(让我们举个例子：)和从similartech ()抓取数据。
我希望它们同时被抓取，这样我就可以接收它们，并在最后格式化它们一次，之后我将直接转到下一个域。
理论上，我应该在scrapy中以异步方式使用2个爬行器？
浏览 2提问于2020-02-10得票数 1
1回答
我很难从UCAS网站抓取我想要的确切数据。
目前，我正在使用以下代码提取课程标题：
course_page.search('ol.resultscontainer li').each do |course|
@course_name = course.search('.courseTitle').text
例如，它为我提供了：
Mathematics (PGDE - Graduates only)
使用下面的内容，我将把课程标题与UCAS代码放在括号中：
course_page.search('ol.resultscontainer li&#
浏览 1提问于2016-06-24得票数 0
回答已采纳
我在研究crawler4j。我发现它使用BerkeleyDB作为数据库。我正在使用mongoDB开发一个Grails应用程序，我想知道crawler4j在我的应用程序中工作有多灵活。我基本上想把抓取的信息存储在mongodb数据库中。是否可以将crawler4j配置为使用mongoDB而不是BerkeleyDB作为默认数据存储区？任何建议都会很有帮助。谢谢
浏览 6提问于2014-07-01得票数 2
我试图访问html页面从我的Windows 8中抓取数据，但首先我需要向它发送登录凭据。我目前正在使用从登录页面中抓取数据。我尝试使用WebBrowser实例在后台运行，但是html页面不能自动单击，我无法继续。之后，我尝试使用HttpClient类来使用PostAsync()方法发送数据，该方法只接收一个HttpResponseMessage，我不知道该做什么，但是我能够使用HttpContent对象成功地发送凭据数据。
var httpResponseMessage = await client1.PostAsync("https://www.webpage.com", c
浏览 6提问于2015-04-11得票数 2
回答已采纳
我有一段代码，我用它来抓取各种网站上的数据。
Connection conn = Jsoup.connect(url);
try {
doc = conn.get();
Element element = doc.getElementById(elementId);
System.out.println(element.html());
} catch (IOException e) {
e.printStackTrace();
}
该代码对大多数网站都很好，但是我注意到，对于我正在从其中一个网站抓取的网站来说，这段代码不起作用，因为HTML元素的id随着页面的
浏览 5提问于2015-12-03得票数 1
回答已采纳
按照上面的结构编写python代码。它只是从数据库中抓取数据，然后调用几个api。谁能解释一下这里遵循的结构(设计模式或其他什么)？
浏览 12提问于2019-10-24得票数 1
我正在做一个项目，它将从大约6,000个网站中收集数据。我正在考虑使用服务器/客户端模型，其中服务器负责抓取数据并在客户端访问数据时将其导入数据库。
为了抓取数据，我正在考虑使用像HtmlAgilityPack这样的html解析器，在这个解析器中，我将根据每个网站分别获取我想要删除的数据的xpath。(这是一项艰苦的任务，欢迎任何更好的建议)这些站点不提供API，但是有些站点为我想要抓取的数据提供RSS提要。
“服务器”将在一个固定的时间间隔内从所有站点抓取数据(即。我现在的问题是，在以编程方式完成这项任务时，我应该考虑什么？
根据我从每个网站获取数据xpath的方法，我可能最终不得不为每个网
浏览 0提问于2016-06-04得票数 -1
我的任务是从网页上抓取数据，并将它们与其他信息一起写入CSV。目前，我使用JSoup来抓取网站，但我的问题是不确定如何将它们写入CSV。 我将每个抓取的页面的数据存储在一个名为CSVObject的对象中： public class CSVObject {
String name;
String title;
String description;
String ArrayList<String> color;
String ArrayList<String> size;
String ArrayList<float
浏览 63提问于2019-12-21得票数 0
我正在使用Scrapy，特别是Scrapy的CrawlSpider类来抓取包含某些关键字的web链接。我有一个相当长的start_urls列表，它从一个连接到Django项目的SQLite数据库中获取条目。我想将抓取的web链接保存在此数据库中。
我有两个Django模型，一个用于起始http://example.com，一个用于抓取的网页链接，如http://example.com/website1，http://example.com/website2等。所有抓取的网页链接都是start_urls列表中的一个开始网址的子网站。
web链接模型与起始url模型具有多对一关系，即web链接模型
浏览 1提问于2012-05-15得票数 7
回答已采纳
我已经设置了Nutch 1.17来抓取一些数据。下载后，我必须将数据导入JSON。它应该包含解析的文本，标题，时间戳，URL。我该怎么做呢？
浏览 27提问于2020-08-19得票数 0
回答已采纳
3回答
我想要抓取的数据布局如下： <div class="ads__unit">
<div>2001</div>
<div>10 000</div>
<div>200 000</div>
</div> 这个div类有多个项。我尝试为每一项抓取add_unit div中的第一个div。有没有办法选择第一个div？
浏览 20提问于2020-10-04得票数 2
回答已采纳
我试图深入React+mobx，但遇到了一个问题。我有从服务器获取数据的存储，在抓取结束后，抓取数据必须在页面上表示。Bug处于初始加载状态--获取后没有数据呈现(获取的数据已经加载，显示在控制台的“网络”选项卡中)。但是，如果我试图再次从菜单-数据呈现在页面上这个页面。
为了理解一个问题，我准备了gitHub回购和获取虚拟数据
用于复制bug --只用于clone回购。以及npm i和npm start
提前感谢
浏览 1提问于2020-01-08得票数 1
回答已采纳
1回答
我正在开发一个应用程序屏幕抓取第三方应用程序。现在，我可以毫不费力地在我计划抓取的第三方应用程序中找到所有的表单、菜单和弹出窗口，但我不知道如何才能找出我抓取的窗口是弹出式窗口还是菜单或其他什么。有没有给出窗口句柄的函数可以告诉我它是什么窗口？
Tks，Jose
浏览 1提问于2009-05-07得票数 1
回答已采纳
在我看来，可以用状态挂钩和函数组件替换useEffect/ComponentDid悬置。例如，如果我想在useEffect或componentDidMount中进行提取，我可以简单地创建一个函数组件来呈现所需的抓取，在函数中添加抓取方法(该方法将在呈现时执行)来修改状态挂钩(这样，一旦数据到达，页面将与数据一起重新呈现)。由于function具有选择性呈现，因此函数组件中任何其他被更新的部分都不会导致不必要的提取。
我说得对吗？是否还有任何其他特定的实例可以使useEffect/componentDidMount严格地更好呢？
浏览 1提问于2022-01-23得票数 -2
我想抓取一个网站，只支持张贴数据。我想在所有请求中发送post数据中的查询参数。如何做到这一点？
浏览 0提问于2013-07-13得票数 10
回答已采纳
1回答
我在维基上抓取目录有困难。我正在为一个个人项目制作一个简单的网络刮刀，我不知道如何刮掉这些数据。
这里是我试图从任何给定的wiki页面中抓取目录的尝试。
String contentOver = doc.select("#toclimit-3 > li").first().text();
这是我想刮的那一页的代码，我怎么才能得到“年表”这个词呢？：
<ul>
<li class="toclevel-1 tocsection-1"><a href="#Chronology"><sp
浏览 3提问于2014-03-12得票数 1
回答已采纳
2回答
我是网络抓取的新手。因此，我被赋予了一项任务来提取数据：
我选择了“评论”的数据集。下面是我的抓取代码。
import requests
from bs4 import BeautifulSoup
url = 'https://www.kaggle.com/hacker-news/hacker-news'
headers = {'User-Agent' : 'Mozilla/5.0'}
response = requests.get(url, headers = headers)
response.status_code
response.con
浏览 10提问于2018-08-14得票数 1
回答已采纳
2回答
我经常对书中所说的“改变的理由”或“改变的轴心”感到困惑。
我有一门课，让一个角色用手抓住一个物理物体。
可抓取对象本身是另一个类，它知道如何获得这些“抓取点”，因此抓取类知道在哪里放置字符的手。
我认为这是正确的，因为每个班级都有不同的责任。
但是它们是如此的耦合，所以对它们来说仅仅是一个类几乎是有意义的。这会不会打破SRP，因为现在类扫描抓取点，也移动/附加字符的手到对象，同时仍然使用内聚？
浏览 3提问于2022-06-04得票数 0
我试图在每次抓取后抓取"finish_reason“，并将这些信息插入到数据库中。爬网实例是在收集第一个项目之前在管道中创建的。
似乎我必须使用"engine_stopped“信号，但是找不到一个示例来说明我应该如何或在哪里放置代码来实现这一点？
浏览 0提问于2019-05-01得票数 0
我对数据抓取很陌生，我正在使用BeautifulSoup从网页中获取一些数据。我正在尝试在span标记中获取r100。我知道r100是类名，但是这个数据是必需的。有可能吗？
我的代码
st2=st1.find("span",attrs={"class":"rating"})
print(st2)
输出
<span class="rating r100"></span>
浏览 3提问于2021-04-04得票数 0
回答已采纳
我正在使用x射线抓取工具来抓取一些有趣的网站，但我似乎不知道如何才能抓取class属性。
另外，你们知道这个模块的好方法吗？
浏览 0提问于2016-11-10得票数 0
1回答
我对网络抓取有问题。我想做的是：
我有一个网站：
正如你在页面按钮"Rezervisi“上看到的，当我点击它时，我想要抓取下一个数据：
第一个下拉菜单当站点打开新窗口时，其"Volkswagen！1.0“在下拉列表中我要抓取所有汽车，然后在这个名为"Mesto preuzimanja vozila”下拉菜单中我要抓取所有项目，而在名为"Mesto vracanja vozila“的下拉菜单中我要抓取所有项目。
这是我尝试在第一个下拉菜单中输入汽车名称的方法：
Document doc
= Jsoup.connect("https:
浏览 0提问于2019-08-07得票数 0
因此，我目前正在抓取几个网页中的文本，然后将这些文本放在列表中，然后我可以通过Pandas在数据框中组织这些列表。我目前使用的是requests和bs4模块。我需要抓取的文本之一是这样的：
<li><span class="label-description">STATUS</span><span class="text-description"></span>Ongoing</li>
我需要提取‘正在进行’，但它没有CSS选择器，我可以用它来使用soup.select(selector)。
浏览 1提问于2021-03-28得票数 0
我们使用的是Rails 3.0.6。
我们维护一个每月只更改一次的数字列表，但几乎每个页面请求都需要访问该列表。
我们将列表存储在数据库中。
我们不会在每次请求时都访问数据库并抓取列表，而是只抓取一次数据并将其存储在内存中，以便有效地访问。
如果我们将列表存储在每个用户会话中，我们仍然需要为每个会话访问数据库。
有没有一种方法可以只访问数据库一次，并让这些值在所有用户和所有会话的内存中持续存在？我们需要从控制器访问列表。我们应该在控制器中定义一个类变量吗？
谢谢!
浏览 4提问于2012-03-16得票数 3
回答已采纳
我正在做一个网络抓取的项目。从不同的在线商店获取数据，但由于只显示几个记录解析页面的限制，我不能在不单击底部的“显示更多”按钮的情况下批量获取数据，在大多数情况下，该按钮实际上是一个span标记，其中只包含html形式的文本，没有achor标记。那么如何在我的php代码中单击该按钮呢？我使用简单的html dom解析器php库进行抓取。
浏览 1提问于2015-06-24得票数 1
我研究了一下RSelenium，发现支持的浏览器只有chrome、firefox、phantomjs和internet explorer。Microsoft Edge是我笔记本电脑上唯一的浏览器，因此我正在寻找一个软件包，它可以帮助我在不安装其他浏览器的情况下从Microsoft Edge中抓取数据。有没有可以安装的包来抓取Microsoft Edge中的数据？
浏览 28提问于2021-11-04得票数 1
使用Loader加载图像时，将图像添加到显示列表的首选方法是什么？抓取像新的位图( Bitmap(LoaderInfo(e.target).content).bitmapData )这样的Event.COMPLETE处理程序中的数据，还是添加Loader实例本身？
浏览 0提问于2009-03-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
