我正在尝试抓取一个网站，以学习python和网络抓取。特别是，我试图在这个页面上抓取足球数据：
我的主要问题是如何抓取主数据表的所有页面，而不仅仅是第一个页面。我正在尝试使用selenium并分析当我点击“下一步”按钮时我的浏览器发送的请求，但我遇到了一些问题。感谢您的关注。
浏览 2提问于2018-08-30得票数 1
我能够解析链接并获得产品的名称。当我试图解析其他链接时，问题就出现了。我得到了这个错误，因为当我试图解析这个链接时，我解析的网站正在检查我的浏览器cookie，如果我没有将名称ChosenSite设置为www的cookie，那么它将立即将我重定向到解析来自无法提供这些数据的colcode=75421790的数据，从那里我得到了无法获得名称的问题。如何设置cookie，或者如何使用另一种方法解析此链接?
提前感谢！
浏览 5提问于2016-03-09得票数 1
我正在使用python和Beautiful Soup从网络上抓取足球运动员的统计数据。我将从多个来源抓取，每个来源将有关于每个玩家的各种变量，包括字符串，整数和布尔值。最终，我想将这些数据放入数据挖掘工具或分析工具中，以便发现趋势。这将需要是可搜索的，我将需要能够添加数据到一个球员的信息时，我从一个不同的顺序从一个新的来源。我应该使用什么技术来存储数据，这样我才能最好地添加数据并在以后分析它？
浏览 3提问于2016-07-29得票数 1
1回答
我最近完成了一个机器学习课程，并想制作一个论坛情绪分析工具，将其应用于股票相关论坛。
将这些评论作为预测市场走向的工具。事实上，我自己做这个(注意论坛)，加上我自己的技术分析和强制性的尽职调查，它一直对我很好。我发现的最大问题是，我想要制作一个无监督培训，并且我需要一个样本<em
浏览 0提问于2018-10-17得票数 0
1回答
我一直在分析每天从ArcGIS地图(链接如下)中的要素图层手动收集的数据。我想自动化这个过程，并一直在寻找使用RESTful应用程序接口(或其他东西)来收集此信息的方法。任务是将这个表(下面的屏幕截图)保存为我可以操作的python数据帧。 我尝试使用GET语句和id键的组合，但我不熟悉API和web抓取。 这项任务可行吗？它的实现是否相当简单？对于Python中级但不熟悉web抓取的人来说，应该从哪里开始呢？ 谢谢!
浏览 24提问于2020-07-24得票数 0
回答已采纳
3回答
我是从多个网站抓取数据。为此，我使用selenium和PhantomJs编写了多个web刮刀。我想要做的不是保存这些数据来分析它，我想把它发送到一个程序中去进行实时分析。
浏览 7提问于2016-08-03得票数 0
回答已采纳
0回答
我已经在R上做了一些数据分析，现在我愿意在Django Web应用程序上显示结果和可视化，我应该怎么做？
1)将结果保存到数据库中，独立制作Django应用，同时通过从数据库中抓取显示结果。我是否应该在python中调用我的R函数并创建一个Django应用程序(如果这一点没有意义，请原谅)
浏览 5提问于2018-07-18得票数 0
1回答
：什么时候使用？
、、、、
我目前正在学习数据科学，并且已经学到了很多Python，不仅仅是数据科学，还有脚本编写、网络抓取等等。与此同时，我开始寻找人们如何通过数据科学赚钱，我发现了解SQL和Excel也是必要的，或者至少是重要的。我的问题是:什么时候使用这三种语言中的哪种语言/程序(Python、SQL、Excel)来执行不同的任务，比如清理原始数据或进行分析？
谢谢!
浏览 0提问于2022-08-05得票数 0
任何人都知道一种有效的方法来提取包含outlink URL的文本上下文。例如，给定包含outlink的示例文本：
浏览 2提问于2014-03-09得票数 7
回答已采纳
1回答
/usr/bin/env pythoncode(200) # assert pagelinks = showlinks()如何使用follow()，以及用于获取值的命令是什么？
浏览 2提问于2017-03-28得票数 0
回答已采纳
我有一个网页，它的$.ajax调用一个Perl文件，该文件抓取数据并将其返回给网页。然后javascript分析数据并创建另一个javascript函数调用，该函数调用请求Perl发送带有该数据的电子邮件。Perl抓取数据，发送给js，js再次调用Perl通过电子邮件发送分析后的数据。我被要求编写一个Perl脚本来单独发送电子邮件，但是我迫切需要使用现有的代码；那么，我的Perl脚本是否可以调用那个特定的$.ajax
浏览 0提问于2014-11-18得票数 0
1回答
我向我的(微生物学和遗传学)学生提出的一个论点是，“数据”是混乱的，Python可以帮助解决这一问题(当然，其他语言也可以)。因此，这里有一种实用的基于web的数据收集练习。我注意到，在最有代表性的用户中，有一些人回答了与Python相关的问题。更广泛地说，在没有用于查询的API的情况下(我不认为有)，除了在页面的URL中查找模式，用Python加载这些页面，然后抓取html之外，还有其他选择吗？
浏览 0提问于2010-02-02得票数 3
回答已采纳
我有一个Drupal网站，上面有大量的数据。但是，由于Drupal类和ID非常一致，人们可以很容易地抓取站点。
我在为失败的事业而战吗？我不确定“抓取”是否是官方术语，但我指的是人们编写脚本的过程，即“抓取”一个网站并分析其中的部分，以便提取数据并将其存储在自己的数据库中。
浏览 2提问于2015-03-23得票数 0
回答已采纳
3回答
我目前正在开发一个网络爬虫在PHP中，它仍然是一个简单的，但我想知道的是，我怎样才能使我的爬虫在后台爬行页面，而不使用我的带宽，我必须使用一些cron作业，我想它自动存储在数据库中的数据。
浏览 2提问于2015-08-06得票数 0
3回答
我们当前的Python管道从web中抓取数据并将这些数据存储到MongoDB中。然后，将数据加载到一个分析算法中。这在本地计算机上很好，因为mongod定位了数据库，但是我想在像Google这样的共享平台上上传数据库，这样其他用户就可以不用再运行刮板就可以使用这些数据了。我知道MongoDB默认将数据存储在/ data /db，所以我可以将整个/data/db上传到Google
浏览 8提问于2016-01-31得票数 1
回答已采纳
3回答
我想知道有没有人知道抓取一个像安全这样的话题是什么。如何使用Twitter完成此操作？我是仅仅关注那些就这个话题发推文的人，再发推文再发推文，还是有确切的方法做到这一点？然后我需要对我收集的数据进行统计分析。
浏览 1提问于2014-02-16得票数 1
3回答
我编写了python代码来刮网页并检索挂牌价格。这个能行吗？Python ->美观汤-> mySQL -> html我希望能够计算平均值，然后在html页面上显示它们。
浏览 8提问于2017-03-01得票数 0
我正在使用python中的Scrapy库来抓取数据，并且我计划在将来使用R进行很少的分析。
在未来，它可能是一个拥有数百万项的大型数据库，使用mongoDB和其他数据库有什么区别？
浏览 0提问于2016-01-26得票数 0
回答已采纳
1回答
实时数据分析
、、、、
有一个应用程序正在运行，我需要从该应用程序中提取数据进行分析。我有几个问题：
如果在应用程序运行时生成信息日志，并打开文件进行读取并抓取最新的行，是否存在任何干扰？这样做的正确方法是什么？在读取主动记录应用程序数据的日志文件时，我需要跟踪行，这样才不会抓取重复的数据？这样做的最佳实践是什么？如果数据的生成速度很快:每秒1000行，那会怎样呢？
浏览 1提问于2018-06-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
