使用Selenium抓取Twitter追随者

文章/答案/技术大牛

发布

1回答

selenium、twitter、selenium-chromedriver

我有一些个人资料的链接，我想获得他们的追随者的用户名。我不能使用API，因为它非常慢，在这里我需要成千上万的追随者，所以我使用selenium。driver = webdriver.Chrome()time.sleep(2) login_id = driver.find_elements_by_class_namecss-4rbku5.css-18t94o

浏览 13提问于2020-08-30得票数 1

2回答

Twitter API vs Web抓取？

ruby-on-rails、ruby、twitter、nokogiri、mechanize-ruby

首先，我想获得我twitter账户的所有追随者。我做了一点研究，发现我们可以用Ruby on rails做web抓取，使用: Nokogiri或Mechanize gem。我还得到了一个css选择器，用于web抓取。现在，如果我查找HTML页面源代码，它不会显示该帐户的所有追随者。我真的可以使用web抓取代码来获取我所有的twitter追随者，还是应该使用Twitter API？

浏览 2提问于2012-11-08得票数 0

回答已采纳

1回答

使用Python查找Twitter好友

python、twitter

我创建了一个Twitter个人资料列表，我想下载他们的朋友(他们关注的用户)。我在Twitter devs上注册了，但如果不对每个用户进行身份验证，我就不能通过API完成注册。

浏览 2提问于2014-04-01得票数 0

1回答

如何对从twitter api抓取的树图的值进行排序，并在TextView(安卓)中显示？

java、android、twitter、treemap、sortedmap

使用twitter 4j库，我抓取用户的最新tweet，然后抓取转发者id和他们的追随者计数。现在我需要做的是显示转发者的id，按追随者的降序排序，即最高追随者的第一排名。我抓取关注者并将其放入树形图中，现在如何对其进行排序？然后在TextView中显示它们？使用twitter4j，我抓取了用户的推文，并将它们放在“状态”中，剩下的就是： //get the first sta

浏览 6提问于2014-03-26得票数 0

2回答

如何使用Scrapy创建Twitter爬虫？

twitter、scrapy、web-crawler

我试过使用Scrapy从Pinterest这样的网站上抓取数据，这些网站不需要登录会话进行数据抓取，但如何使用Scrapy抓取和爬行Twitter，因为要访问Twitter追随者和其他数据，我们需要首先登录

浏览 0提问于2014-12-18得票数 2

1回答

利用BeautifulSoup抓取推特数据

python、twitter、web-scraping、beautifulsoup、python-requests

我尝试使用BeautifulSoup和请求库来抓取twitter数据。我首先尝试使用BeautifulSoup登录，然后刮掉所需的页面。但这是行不通的。我没有得到我所做的错误。我正在添加以下代码：from bs4 import BeautifulSoupurl="https://twitter.compassword": "test_password&quo

浏览 11提问于2017-11-12得票数 1

1回答

Twitter:从Twitter帐户URL查找关注者数量

python、python-2.7、twitter

有没有办法仅仅通过Twitter用户的Twitter账户URL就能找到该用户的追随者数量？例如，使用像www.twitter.com/abc这样的推特帐户URL，我可以找到与该帐户URL对应的用户当前拥有的追随者数量吗？我已经在Python语言中使用BeautifulSoup提取了关注者数量，但是有没有一种非抓取的方法来实现这一点呢？我知道有一个API可以使用用户id来查找追随者计数，但无法找到任何可以帮助

浏览 1提问于2015-07-06得票数 0

2回答

通过抓取推特获取推特账号粉丝数

python、web-scraping、twitter

我试图通过抓取twitter来获取给定Twitter账号的追随者数量。我试过用BeautifulSoup和XPath抓取。但是所有的代码都不起作用。这是我的一些示例测试代码，resposnse = re.getresposnse.content) div_tag = soup.find_all(

浏览 7提问于2020-09-15得票数 0

1回答

Twitter4j :直接发送消息给超过250个关注者

android、twitter、twitter4j

我正在尝试开发一个应用程序，其中用户可以分享消息和网址使用twitter4j。我不能使用mTwitter.updateStatus(message);，因为它向所有的追随者发推文，而我希望它是为选定的追随者，我将不得不去：我们有什么办法解决这个问题吗？提前感谢您的帮助。

浏览 1提问于2013-11-26得票数 3

3回答

使用selenium滚动到无限加载页面的末尾

selenium、selenium-chromedriver

我正在使用Selenium从twitter上抓取追随者的名字，这个页面是无限的，每当我向下滚动时，我都可以看到新的关注者。不知何故，我想去到页面的底部，这样我就可以刮所有的追随者了。

浏览 7提问于2020-08-29得票数 2

回答已采纳

1回答

抓取某些Twitter帐户的推文数量

python、twitter、web-scraping、topsy

我需要抓取确切数量的推文，在某些推特帐户，每天产生。以及追随者的数量。有没有人知道一个合适的来源--不一定是来自Twitter。我已经从Topsy上抓取了，但我还不能想出如何将显示的tweet限制为只有一个帐户。我甚至不需要内容，但只需要生成推文的数量和追随者的数量。谢谢！

浏览 0提问于2013-05-23得票数 0

1回答

用Twython抓取用户关注者

python、data-retrieval、twython

我有代码来抓取特定用户的追随者，如下所示。我想进一步做的不仅仅是抓取用户的追随者，还包括追随者自己的追随者。一个例子是获取卡尔·伊坎的关注者id，然后获取这些关注者自己的关注者id。此外，出于某种原因，我每次都会因为某种原因而获得5000名追随者，而不是每次都得到不同的5000名追随者。有谁能帮我一下吗？我将不胜感激。*****"oauth_token = "

浏览 3提问于2015-03-17得票数 0

1回答

如何使用OAuth抓取推特数据

twitter、oauth、web-crawler

如何使用OAuth身份验证只读访问twitter API来抓取推特数据，如用户时间表、追随者、关注列表等。我过去使用BasicAuth，但现在不支持它。

浏览 1提问于2011-05-12得票数 1

回答已采纳

1回答

如何为每条推文找到最喜欢的列表？

python-3.x、twitter、tweepy

但是，我找不到任何使用Tweepy(Twitter )来收集它的信息。使用Selenium为每条推文收集最喜欢的列表是唯一的可能吗？谢谢

浏览 2提问于2019-11-19得票数 0

回答已采纳

1回答

如何在Instagram selenium中滚动弹出窗口

python、selenium、web-scraping

我使用selenium从Instagram上抓取特定用户名的追随者。我可以使用以下代码在主页上滚动。driver.execute_script("window.scrollTo(0, 2000);") 但是现在追随者出现了弹出窗口，我无法在其中滚动。甚至我也尝试了如下。

浏览 15提问于2021-07-10得票数 1

回答已采纳

1回答

如何使用Twitter使用Ruby自动刮除多个帐户

ruby、api、twitter

我使用这个Ruby脚本和Twitter来抓取twitter用户名的追随者。它的工作，它应该，但它只能刮追随者的一个帐户，然后我需要手动更改用户名，并重新启动。我几乎没有使用Ruby的经验，所以我想知道是否有从文本文件中获取用户名的方法，一行接一行，或者任何其他方法。我的代码现在是这样的： fname = "#{twitter_userna

浏览 0提问于2017-01-20得票数 0

回答已采纳

1回答

使用Node.js从Twitter帐户中抓取关注者的最快方法

node.js、twitter、scrape

由于twitter的限制率，我想知道我如何能够以非常快速的方式从帐户中以非常快速的方式从帐户中抓取的追随者数量？你认为Node.js是最好的解决方案吗？我不知道它是如何工作的，但我认为，也许使用Twitter移动版本(例如)比使用计算机版本更快。谢谢！！

浏览 5提问于2014-01-30得票数 0

回答已采纳

1回答

确定Instagram帐户是否关注特定用户的最快方法？

selenium、instagram、instagram-api

目前正在尝试找出如何检查非常大的Instagram帐户(10M+追随者)是否在关注30-4万用户列表。抓取所有追随者似乎不是一个非常可行的解决方案，因为Instagram的速率限制为每10k个请求(所以很自然，抓取5000-6000万个用户名需要很长时间)。有谁知道通过类似Selenium的机器人和/或使用Instagram API来实现此功能的方法吗？

浏览 1提问于2020-03-09得票数 0

1回答

从Twitter用户w/ api.lookup_users抓取好友列表时出错:查询中指定的词条太多

python、tweepy

下面的代码被提供给另一个正在抓取特定Twitter用户的“好友”(而不是“追随者”)列表的用户。由于某些原因，我在使用"api.lookup_users“时出现错误。理想情况下，我希望抓取追随者并输出带有屏幕名称(而不是ids)的csv。我也希望他们的描述，但可以在一个单独的步骤做这一点，除非有一个建议，以提取两部分的信息。下面是我使用的代码：import tweepy #Twitter AP

浏览 2提问于2016-09-24得票数 0

2回答