Twill/Mechanize访问html内容
在这个问答内容中，您提到了Twill和Mechanize两个工具。这两个工具都是网络爬虫工具，用于从网站上抓取和解析HTML内容。
Twill和Mechanize的主要区别在于它们的实现方式和使用场景。Twill是一个基于Perl语言的网络爬虫框架，它提供了一组模块和函数，可以帮助开发人员快速地编写网络爬虫程序。Twill支持多种网络协议，包括HTTP、HTTPS、FTP等，并且可以与多种HTML解析器集成，例如HTML::TreeBuilder和HTML::Parser。
Mechanize是一个基于Python语言的网络爬虫库，它提供了一组类和方法，可以模拟浏览器的行为，例如提交表单、点击链接、跟踪重定向等。Mechanize可以处理JavaScript脚本和Cookies，并且可以与多种HTML解析器集成，例如BeautifulSoup和lxml。
在使用Twill和Mechanize进行网络爬虫开发时，需要注意遵守网站的robots.txt规则，避免对目标网站造成过大的负担。此外，还需要注意不要爬取到不合法或不道德的内容，避免触犯法律法规。
推荐的腾讯云相关产品：
- 云服务器（CVM）：提供高性能、稳定、安全、易管理的云服务器，可以满足网络爬虫程序的高并发、高性能要求。
- 对象存储（COS）：可以用于存储爬取到的HTML内容，提供高可靠性、高可用性、高扩展性的存储服务。
- 内容分发网络（CDN）：可以用于加速网络爬虫程序的访问速度，提供全球加速、稳定、可靠的网络传输服务。
- 云硬盘（CBS）：可以用于存储网络爬虫程序的运行环境和数据，提供高可靠性、高可用性、高扩展性的块存储服务。
相关产品介绍链接地址：
相关·内容
我使用to (0.9)，我还想访问它的内置机械化发行版(在Python2.6.6上)。我看了所有的文档，我不清楚他们是否支持或推荐，如果是的话，他们肯定不公开它。-0.9-py2.6.egg\twill\other_packages\_mechanize_dist\_mechanize.py", line 212, in open File "C:\Dev\Python26\lib\site-packages\twill-0.9-py2
浏览 4提问于2011-09-02得票数 0
回答已采纳
我对这个程序的想法是有一个简单的(假设)脚本来监控时间，当它在特定的时间范围内(例如早上6点到晚上7点)时，它会导航到opendns.com，并使用网页内容过滤功能阻止某些网站。\_mechanize_dist\_mechanize.py", line 446, in global_form
return self.-0.9-py2.7.egg\twill\other_packages\_mechanize_dist\_html.py", line 521,
浏览 3提问于2013-02-24得票数 2
我需要一个python脚本，获得谷歌广告收益，我找到了广告感知刮板：，它使用斜纹和html5lib来抓取谷歌广告收益数据。-py2.6.egg\twill\other_packages\_mechanize_dist\_mechanize.py", line 212, in open File "c:\python26\lib\site-packages\twill-0.9-py2.6.egg\twill\other
浏览 2提问于2011-03-26得票数 0
我正在尝试使用python和Twill运行一些自动化的功能测试。测试验证了我的应用程序的OAuth登录和连接端点是否正常工作。幸运的是，推特并不介意Twill/Mechanize访问twitter.com。然而，Facebook不喜欢我使用Twill访问facebook.com的事实。我得到了他们“浏览器不兼容”的响应。我只是想访问他们的OAuth对话框页面，并允许或拒绝我正在测试的应用程序。有没有办法配置Twill/Mec
浏览 2提问于2011-10-15得票数 1
2回答
环境变量
、、、
我使用模块mechanize来登录一个站点。当我在没有任何其他明显用途的情况下使用import twill.commands时，会显示一些调试消息1。当我删除它时，这些消息会消失。更新:原来在尝试遵循HTTP-EQUIV=REFRESH头文件时，twill.commands中存在一个错误，导致错误。移除import twill.commands和它周围丑陋的工作之后，一切都会顺利地工作。
浏览 1提问于2010-06-14得票数 1
回答已采纳
gx=1&.rand=b3a02cc8lb0aa Content type: text/html; charset=utf-8 (HTML)我在电脑上找到了"C:\Python25\Lib\site-packages\twill\other_packages_mechanize_dist“(如你所见，我没有\Lib\site-packages\twill\other_package
浏览 0提问于2010-09-01得票数 2
回答已采纳
这个插件为所有访问者设置了一个会话cookie，我认为这就是导致问题的原因。# Browser
self.br = mechanize.Browser
浏览 5提问于2012-08-11得票数 0
1回答
我使用Twill来检索包含所需.txt数据的页面，这样我就可以将它们存储为Excel文件。数据受密码保护，所以我是从/user/login页面登录的。我的代码遇到了这样的问题:它试图从登录屏幕访问文本页面，但是遇到了HTML砖墙，而不是.txt本身。Data-Feed/Daily-GPI/2018/12/20181221td.txt 我使用fv("2", "commit", "Login")而不是submit()的原因是，
浏览 22提问于2018-12-22得票数 4
回答已采纳
“my login”submitsave_htmlresult.txt
这段代码帮助我登录到一个网站，在其中我有一个帐户，记录该网站其他页面的HTML代码(登录后才能访问)，并将其存储在一个名为“result.txt”的文件中(当然，在使用此代码之前比方说，我希望我的代码从“”登录到一个网站，转到该网站上的另一个页面，记录它的HTML代码(这就是我的to代码所做的)，
浏览 8提问于2010-04-26得票数 0
回答已采纳
2回答
post响应具有此HTML页面。现在，如何使用这个响应来填写新页面上的表单？我是否可以将请求模块与way交织在一起，或者以某种方式实现？下面是帖子的代码：from requests.auth import HTTPProxyAuthfrom twill import get_browserfrom twill.commands import *from mechanize import ParseRes
浏览 4提问于2015-06-29得票数 1
回答已采纳
到目前为止，我尝试过的是：
go("http://www.banxico.org.mx/portal-inflacion/inflacion.html机械化
br = mechanize.Browser()
b = br.open("http://www.banxico.org.mx/portal-inflacion&#x
浏览 4提问于2017-09-25得票数 1
回答已采纳
import twilltwill.commands.fv("1", "txtPassword", "passw
浏览 3提问于2012-10-07得票数 2
回答已采纳
Error code: 503
http://www.golf-equipment-guide.com/news/Mark-Nichols-(golfer).html!!
浏览 2提问于2010-12-01得票数 0
回答已采纳
我使用twill在受登录表单保护的网站上导航。from twill.commands import *
fv("login_form", "identifiantlogin/control.php")go('http://www.example.com/accueil/index.php&
浏览 3提问于2016-06-19得票数 3
回答已采纳
我有一个用python编写的机械化脚本，它填写了一个web表单，并应该点击“创建”按钮。但是有一个问题，表单有两个按钮。一个用于“添加附加文件”，另一个用于“创建”。两者都是'submit‘类型，而attach按钮是第一个列出的。因此，当我选择论坛并执行br.submit()时，它会单击“attach”按钮，而不是“create”。广泛的Googling搜索对于选择表单中的特定按钮没有产生任何有用的结果。有没有人知道跳过第一个“提交”按钮并点击第二个按钮的方法？
浏览 9提问于2009-04-09得票数 29
回答已采纳
我如何使用mechanize来做到这一点？它似乎不能保存页面上的图像
我使用了中的示例，提前感谢
浏览 2提问于2011-08-07得票数 1
回答已采纳
1回答
我正在学习使用机械化解析数据，但是脚本中有一个问题：import mechanizemyBrowser.open("http://realpython.com/practice/aphrodite.html")脚本2
import mechanizemyBrowser = mechanize.B
浏览 5提问于2014-06-30得票数 0
我正在使用Mechanize lib (使用Python)创建一个程序来登录系统。但对于该系统，选项Browser.Submit不起作用。所以我试图强制我的程序点击“登录”按钮。
浏览 0提问于2013-08-29得票数 3
我最近一直在用ruby中的Mechanize gem来写一个刮刀。不幸的是，我试图抓取的URL在GET请求时返回的是Mechanize::File对象，而不是Mechanize::Page对象。我尝试过的每个其他网址都返回了一个Mechanize::Page对象。
有没有什么方法可以强制机械化返回一个Page对象？
浏览 0提问于2011-08-03得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
