2回答
测试我的网站在程序中是如何显示的
、、、、
网站不仅可以被浏览器上的用户访问，还可以被程序、机器人和爬虫访问。我有一个运行在上的带有python的网站，它具有由python程序通过组合、合并和循环字符串生成的非静态HTML页面。但是，它们也不是动态页面，因为生成这些页面不需要用户输入。python生成内容完全是为了方便、简洁和易于维护，并且完全由url设置。
一些搜索引擎无法对动态页面进行索引。我想知道这些页面是否符合“动态”，即它们是否可以被这类机器人为通常的元数据和内容进行爬行或索引，并且通常希望有一种方法来
浏览 5提问于2012-01-09得票数 0
回答已采纳
当我使用Selenium时，我可以看到浏览器GUI，是否可以使用scrapy或严格基于scrapy命令行？
浏览 4提问于2015-11-03得票数 1
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
我有不同的内容坐在不同的子领域，每一个在不同的框架和不同的数据库。
目前，我使用sqlite3实现了这一点，但我正在寻找其他(更高性能、更低占用空间)编程语言，希望它们能够更好地完成这项任务。
浏览 2提问于2011-03-21得票数 0
我试图在具有动态查询参数的网页上显示广告。https://app.example.com/converter?python2code=print%20g&python3code=print(g)。python2code=print%20g&python3code=print(g)部分总是在变化。在用户URL中添加会话ID的会话ID站点的动态页面可能会遇到显示相关广告的问题。会话in可以增加爬
浏览 0提问于2021-08-26得票数 4
详细问题可在此链接中找到- 现在，在这种情况下，为不同的categoryId做搜索引擎优化似乎是不可能的，因为谷歌机器人不会在爬行时等待我的服务器响应。
浏览 1提问于2016-04-29得票数 0
我有一个网站，主要功能动态内容。每一段动态内容都有自己的网址，如"www.example.com/page/\*/\*“
我遇到的问题是，其中许多页面都需要用户登录。我读过关于AdSense爬虫登录的文章，并试图实现它。但是，我发现没有提到通配符或URL的正则表达式。据我所知，AdSense爬虫登录只支持静态URL。是否有任何方法来设置支持一系列动态URL的AdSense爬虫登录？
浏览 0提问于2015-02-03得票数 3
我正在尝试创建一个通用的网络爬虫，将去一个网站，并采取屏幕截图。我使用的是Python、Selnium和PhantomJS。问题是屏幕截图没有捕捉到页面上的所有图像。(我没有足够高的代表来发布屏幕截图)我认为这可能与动态内容有关，但我已经尝试了等待函数，如隐式等待和on set_page_load_timeout方法。因为这是一个通用的爬虫，所以我不能等待特定的事件(我想抓取数百个站点)。
有没有可能创建一个通用的网络爬虫来完成我正在尝试的屏幕截图？
浏览 4提问于2014-10-06得票数 3
由于网站每5秒通过JavaScript更新一次表，因此无法为此编写爬虫程序，它是动态加载的。
我想要这个网页中的数据表，但我不知道如何使用Java或Python来实现。我已经搜索了很多，大多数答案都是关于“如何从服务器流式传输数据”这样的问题，但我想要的恰恰相反，我如何从网页读取动态流式/推送的数据？
浏览 19提问于2016-08-26得票数 0
1回答
所以，经过4周的试验后，我来到这里，所有的问题都归结于我这个爬虫似乎无法阅读网页的内容，即使在所有的喧闹之后。
最初的问题是，所有的信息没有出现在一个页面上，所以使用按钮导航网站本身的内容.爬虫无法读取页面的原因似乎是robot.txt文件(单个页面的爬虫等待时间为3600页，文章大约有10页，这是可以忍受的，但如果它说100+会发生什么情况)，我不知道如何绕过它或绕过它。
浏览 5提问于2020-08-31得票数 0
回答已采纳
我正在做一个小型项目的网页-爬虫+搜索引擎。我已经知道如何使用Scrapy框架刮取数据。现在我想做索引。为此，我发现Python字典是我最好的选择。我希望映射类似于对象(字符串)的名称/标题， -> 对象本身( Python对象)。
现在的问题是，我不知道如何在MySQL数据库中存储动态dict，而且我肯定想要存储这个dict！
浏览 1提问于2015-09-01得票数 1
3回答
用于web抓取的旋转代理
、、、、
我有一个python网络爬虫，我想在许多不同的代理服务器上分发下载请求，可能是运行squid (尽管我对其他选择是开放的)。为了让它更难，我还希望能够动态地更改可用代理的列表，减少一些代理，并添加其他代理。谢谢:)
浏览 0提问于2009-12-20得票数 10
回答已采纳
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
1回答
如果站点上的一些页面是静态的而不是动态的，会发生什么？
有没有办法使用PHP抓取站点并创建一个包含结果的XML文件？
浏览 2提问于2011-11-22得票数 0
回答已采纳
1回答
我计划做一个responsive+mobile的第一个网页设计。所以我的计划是：
谁能告诉我，是否可以做SEO友好的条件加载使用Javascript？或者，我是否需要查看服务器端语言即PHP/ASP来使用设备检测加载内容？
浏览 6提问于2012-10-18得票数 4
回答已采纳
1回答
我正在建设一个项目，我需要一个网络爬虫爬行不同的网页列表。此列表可以随时更改。这是如何用scrapy最好地实现的？我应该为所有网站创建一个爬虫，还是动态创建蜘蛛？我读过关于的文章，我猜动态创建爬行器是最好的方法。不过，我需要一个关于如何实现它的提示。
浏览 2提问于2013-07-02得票数 3
回答已采纳
我的网站提供了动态创建的内容，爬虫可以看到，基于以下规范：。这样，谷歌爬虫用以下语法索引了大约5000个： urls
用谷歌的网站管理员工具查看我的抓取报告，我确信这些页面都被成功抓取了。请注意，我确实找到了我的通用网站，在“更多结果”下，我找到了大约40个动态生成的页面，但显然这不是我想要的。我想根据它们的内容(AAPL，GOOG，...)找到页面。也许，爬虫认为我的页面或多或少是一样的。但事实并非如此。
浏览 3提问于2013-06-09得票数 0
我正在做一个网络爬虫的项目，从内部网站获取一些信息。我发现静态页面可以通过几个简单的步骤(设置cookie，然后使用Cmdlet Invoke-RestMethod)来捕获，但是动态页面的数据不能通过这种方式获得。此外，我发现动态页面上的链接并不是持续不断的，例如，它总是由jsessionid或其他东西组成，它们总是随时间而变化。
有人能给我一个提示来解决这个问题吗？爬虫能抓取动态网页吗？谢谢..。
浏览 149提问于2017-02-13得票数 0
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
