1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 551提问于2024-01-06
1回答
我正在尝试使用Python中的Scrapy在一些航班上运行航班搜索，然后将其导出为csv。这只是为了好玩，因为我对Scrapy有了更多的了解。
这是我所拥有的
from scrapy.item import Item, Field
from scrapy.http import FormRequest
from scrapy.spider import Spider
class DeltaItem(Item):
title = Field()
link = Field()
desc = Field()
class DmozSpider(Spide
浏览 1提问于2015-04-17得票数 0
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。
用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
590859A8-9A1A-4E52-8E60-AD292B16B4A8.png
655C6D0E-4901-4369-AA98-452F9FEFB852.png
4E73A31E-C9C4-45C0-A34E-8EA9AE335A98.jpeg
91321020-9B32-4C77-910A-FA
浏览 335提问于2021-01-09
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
1回答
我的刮刀用了大约一个小时。过了一会儿，我开始看到这些错误：
2014-01-16 21:26:06+0100 [-] Unhandled Error
Traceback (most recent call last):
File "/home/scraper/.fakeroot/lib/python2.7/site-packages/Scrapy-0.20.2-py2.7.egg/scrapy/crawler.py", line 93, in start
self.start_reactor()
F
浏览 3提问于2014-01-16得票数 3
1回答
我有一台计算机在端口45000上播种torrent文件。我正在尝试用python (或者perl)编写一个小型客户端，它可以帮助我确定该客户端支持的消息类型，对于这些消息，我可能需要与该客户端进行握手。在Azureus中，这是通过像peer.getSupportedMessages()这样的调用来完成的。使用python或perl中的某个库可以做到这一点吗？
返回消息的示例如下所示：
BT_KEEP_ALIVE
BT_PIECE
BT_REQUEST
BT_UNCHOKE
BT_UNINTERESTED
BT_SUGGEST_PIECE
BT_HAVE_ALL
BT_HAVE_NONE
BT_
浏览 2提问于2010-04-04得票数 0
回答已采纳
在我们的网站上有一个网站地图
网站管理员中心报告说，网站地图中的一些urls被我们的robots.txt屏蔽了，请看，！尽管这些urls在Robots.txt中并不是不允许的。还有其他类似的网址，例如，gamezebo.com/gamelinks出现在我们的网站地图中，但它被报告为“robots.txt限制的网址”。
另外，我在站长中心有一个解析结果，上面写着：“第21行:爬行延迟: 10规则被Googlebot忽略”。什么意思？
我很感谢你的帮助
谢谢。
浏览 3提问于2009-09-28得票数 1
快速问一下，我错误地开始了对我的一个内容源的增量抓取。然后我暂停了它，这样它就不会影响用户了。 它将在下一次计划的增量爬网时恢复还是需要手动恢复？
浏览 12提问于2019-12-20得票数 0
我正在尝试创建一个自定义报告，它显示当前的爬网时间/持续时间，状态是完全爬网还是增量爬网。
有谁知道我可以用什么API来获取这样的信息？
浏览 0提问于2009-06-01得票数 0
回答已采纳
1回答
我使用apache-nutch-crawler1.6进行爬行。在爬行之后，当我尝试使用命令读取爬行结果的内容时
bin/nutch readseg -dump crawl/segments/* segmentAllContent
错误是
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/ubuntu/nutch/framework/apache-nutch-1.6/blogs/segments/20
浏览 0提问于2013-06-21得票数 1
0回答
使用Python语言编写爬虫程序，使用正则表达式将指定日期时段内的全部上市公司股票数据爬取下来，并按照股票代码保存到相应的Excel文件中。
有偿联系微信：15527440125
浏览 204提问于2020-05-23
我试图实时获得一个进程的输出，同时将它保存到一个变量中，我试着查看其他堆栈溢出问题，但是我在StreamReader myStreamReader = myProcess.StandardOutput行中得到了一个InvalidOperationException错误，我遗漏了什么?如何修复它？
using System;
using System.IO;
using System.Diagnostics;
using System.Text.RegularExpressions;
namespace CallPython
{
class Program
{
s
浏览 3提问于2016-07-11得票数 2
我在seed.txt中用url-1成功地执行了一次爬行，我可以在MySQL数据库中看到爬行的数据。现在，当我尝试通过在seed.txt中用url-2替换url-1来执行另一次新的爬行时，新的爬行开始于抓取步骤，并且它试图抓取的url是seed.txt中旧的替换的url。我不确定它是从哪里拿到这个旧网址的。
我尝试检查隐藏的种子文件，但没有找到，并且在我运行爬网命令的NUTCH_HOME/ run /local中只有一个文件夹urls/seed.txt。请告诉我可能是什么问题？
浏览 1提问于2013-04-17得票数 1
我开始测试Scrapy以便抓取一个网站，但当我测试我的代码时，我得到一个错误，我似乎不知道如何解决。
以下是错误输出：
...
2012-12-18 02:07:19+0000 [dmoz] DEBUG: Crawled (200) <GET http://MYURL.COM> (referer: None)
2012-12-18 02:07:19+0000 [dmoz] ERROR: Spider error processing <GET http://MYURL.COM>
Traceback (most recent call last):
F
浏览 2提问于2012-12-18得票数 0
回答已采纳
我的问题是:我有sharepoint 2007 web应用程序和windows server 2008操作系统。我在SharePoint2007中做搜索，它工作得很好。最近我添加了一个新的网站页面，但它没有出现在搜索结果中。我也在爬虫日志中查找了它，但我没有找到页面的url。
新信息当我切换到windows身份验证时，一切都很好，页面是在搜索process.but中找到的，切换回表单身份验证不会使网页出现在搜索结果中。
我的问题是:如何让新页面出现在搜索结果中？
浏览 1提问于2013-01-31得票数 0
我使用xgboost进行预测，我的主要代码如下：
params={
'booster':'gbtree',
'object':'binary:logistic',
'early_stopping_rounds':100,
'eval_metric':'auc',
'gamma':0.1,
'max_depth':8,
'lambda':550,
'subsample
浏览 3提问于2017-05-20得票数 5
3回答
如何添加主题？
、、、
我最近刚开始使用python，我一直在做一个叫做“ToDoList.py”的项目，它已经完成了，但是我想添加一个按钮来改变使用tkinter / ttk的图形用户界面的主题，但是它不起作用。
这是错误：
Traceback (most recent call last):
File "todolist.py", line 64, in <module>
lbl_title = Label(root, text="ToDoList", bg="white")
File "C:\Users\Sam\AppData\
浏览 1提问于2019-02-17得票数 0
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2250提问于2018-09-12
SharePoint 2010 search中的爬网程序影响规则和爬网规则有何不同？
浏览 1提问于2011-02-13得票数 4
回答已采纳
我有一个MOSS 2007实例，其中我的客户希望我的网站配置文件中的内容不显示为链接。我们如何才能做到这一点？
我尝试从SSP中删除首选搜索中心url。它做到了这一点，但它也打破了位于页面右上角(欢迎菜单下方)的标准搜索功能。
浏览 1提问于2009-09-28得票数 0
微软SharePoint 2013。我有一个任务列表，其中有一些日期列。每当我尝试在列表上方的Serach框中搜索日期值时，我都得不到任何项目。其他值在搜索框中工作正常。请帮帮我。 未启用内容审批
浏览 10提问于2019-04-16得票数 0
我试图使用CUDA工具包11.3在NVIDIA GPU上通过Python1.6.1运行XGBoost 1.6.1。下面的示例代码抛出内存分配错误，即使GPU有足够的可用内存。
from xgboost import XGBClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
X, y = load_wine(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = t
浏览 8提问于2022-06-27得票数 1
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：
domain'.sharepoint.com/_api/search/query?Querytext='res1a2b3c4d5e‘
基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百
浏览 2提问于2017-04-18得票数 1
4回答
如何执行python文件中的所有代码，以便在当前代码中使用def？我有大约100个脚本，都是像下面的脚本一样写的。
举个简单的例子，我有一个python文件，名为：
D:/bt_test.py
他的代码如下所示：
def bt_test():
test = 2;
test += addFive(test)
return(test)
def addFive(test):
return(test+5)
现在，我想从一个全新的文件中运行bt_test()
我试过这样做：
def openPyFile(script):
execfile(script)
op
浏览 0提问于2012-06-13得票数 0
回答已采纳
1回答
我试图在WSL2中运行xgboost。但是，如果我试图使用GPU，将tree_method设置为文档中指定的“gpu_hist”，则会得到以下错误
XGBoostError Traceback (most recent call last) /tmp/ipykernel_30546/3907995862.py in <module>
1 xgb = XGBClassifier(tree_method='gpu_hist')
----> 2 xgb.fit(X, y)
~/miniconda
浏览 13提问于2022-01-08得票数 0
我试图使用Python3.8中的对AAPL历史上的股票价格进行回溯测试，使用backtrader的YahooFinanceData模块从雅虎金融获得的股票价格。
问题：数据似乎是从Yahoo下载的，但是在回溯测试过程中，我们得到了一个错误：
FileNotFoundError: Errno 2没有这样的文件或目录：'AAPL‘
知道我们怎么能解决这个问题吗？
系统：
Mac 10.15.3
Python 3.8.0
backtrader 1.9.74.123
Python代码复制错误
from datetime import datetime
import
浏览 8提问于2020-03-17得票数 1
我试着用水瓶和SQLAlchemy来构建SQLAlchemy。
这里的例子：
以下是我的两门课：
class User(db.Model):
__tablename__ = 'users'
id = db.Column(db.Integer, primary_key=True)
email = db.Column(db.String(255), index=True) #, unique=True)
firstname = db.Column(db.String(50))
lastname = db.Column(db.String(50
浏览 2提问于2015-02-10得票数 1
当我尝试加载XGBoost模型并使用predict时，我收到以下错误： XGBoostError: [11:42:10] ../src/data/iterative_device_dmatrix.h:50: Not implemented.
Stack trace:
[bt] (0) /usr/local/lib/python3.6/dist-packages/xgboost/lib/libxgboost.so(+0x8d264) [0x7f5c35a28264]
[bt] (1) /usr/local/lib/python3.6/dist-packages/xgboost/lib/
浏览 80提问于2021-01-12得票数 0
我正在使用Jdebug系统调用和python，并试图自动化"bt“命令的过程，如下所示。 它由两个步骤组成。 jdebug core-tarball.0.tgz 收到的回复： Using '/tmp' as temporary location
jdebug version: 5.0.0
[File is compressed. This may take a moment...]
....
[Current thread is 1 (LWP 100276)]
(gdb) 如上所述，( gdb )提示符出现了，现在我需要传递"bt“命令，并从gdb提示符
浏览 27提问于2020-08-04得票数 3
回答已采纳
我是Python的新手，我想使用Python来抓取几个需要Google帐号登录的网站。例如，我想爬一个网站xxx.appspot.com，我需要登录我的谷歌帐户访问它，因为这个数据库需要验证，我是授权人员。
当我做这样的事情：
content=urllib.urlopen(target_url).read()
当然，我得到的“内容”只是一个登录页面。如何实现代码，以便爬虫在实际爬行之前可以在Google帐户中签名。
浏览 1提问于2013-12-18得票数 2
回答已采纳
我正在尝试在Python脚本中运行Scrapy。相关代码如下：
import scrapy
from scrapy.crawler import CrawlerProcess
class PostSpider(scrapy.Spider):
name = "post crawler"
allowed_domains = ['test.com']
def __init__(self, **kwargs):
super(PostSpider, self).__init__(**kwargs)
url =
浏览 0提问于2016-03-25得票数 2
1回答
我想从论坛上得到信息，Dcard。我还构建了一个函数来排列我收到的数据。 import json
import pandas as pd
import requests
from requests_html import HTML
import re
import openpyxl
def Crawl(ID):
link='https://www.dcard.tw/_api/posts/'+str(ID)
requ=requests.get(link)
rejs=requ.json()
return(pd.Da
浏览 11提问于2021-07-30得票数 0
我使用亚马逊SageMaker训练并保存了一个模型，该模型以model.tar.gz格式保存，该格式在未注册时有一个文件model_algo-1，该文件是一个序列化的Apache对象。要在内存中加载模型，我需要反序列化模型。我试着这样做如下：
import mxnet as mx print(mx.ndarray.load('model_algo-1'))
参考资料取自
但是，这样做会导致以下错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
浏览 1提问于2018-04-04得票数 1
2回答
我创建了GCP虚拟机(ubunto)。我安装了python和scrapy。我想从那里运行我的蜘蛛，scrapy crawl test -o test1.csv我从gcp打开终端并运行蜘蛛(工作)，这将需要至少3个小时。 如何确保在退出终端(浏览器)时脚本将继续执行。
浏览 23提问于2019-08-31得票数 1
回答已采纳
2回答
使用python查找重复文件
、、、、
我正在尝试写一个Python脚本，它将在目录中爬行，找到所有重复的文件并报告重复的文件。解决这个问题最好的办法是什么？
import os, sys
def crawlDirectories(directoryToCrawl):
crawledDirectory = [os.path.join(path, subname) for path, dirnames, filenames in os.walk(directoryToCrawl) for subname in dirnames + filenames]
return crawledDirectory
#print
浏览 1提问于2012-09-24得票数 1
我想开始开发一些工具，让我可以通过蓝牙在我的手机和计算机之间进行通信，我想使用Python。我安装了python蓝牙模块(PyBluez)，但它无法检测到我的内置BT适配器(我使用的是东芝卫星A300)。
import bluetooth
nearby_devices = bluetooth.discover_devices()
print(nearby_devices)
返回以下错误：
Traceback (most recent call last):
File "C:/Python26/bt.py", line 3, in <module>
ne
浏览 10提问于2010-11-17得票数 2
我有一个使用Python3.9.6和xgboost==1.6.1保存在本地机器上的模型。我用以下方法保存了它：
filename = 'model.sav'
pickle.dump(model, open(filename, 'wb'))
但是，我必须将其加载到使用Python3.6.9和xgboost==1.5.2的环境中。我不能在那个环境中升级Python，这样我就可以使用xgboost==1.6.1。我能做些什么来在这个独立的环境中打开我的模型吗？如果我卸载并重新安装本地机器上较旧版本的xgboost以保存它，这会影响我的模型吗？
更新:我尝试了James
浏览 11提问于2022-08-04得票数 1
6回答
Python和Spyder新手。如何在Spyder中重新定位窗格。我在左上角设置了编辑器，在右上角设置了对象检查器，在左下角设置了ipython控制台。不知何故，我把它搞乱了，不知道如何重新定位它们。已经爬遍了网络，但没有找到joy。
谢谢
jpl
浏览 4提问于2015-03-06得票数 23
1回答
这是我想要使用的模块。在以崇高形式创建python文件之后，
import bt
给了我错误
ImportError: No module named bt
即使终端宣布下载成功。另外，我能够在终端上运行行导入bt，而不会出现任何错误。所以这一定是在崇高上的错误。Sublime正在运行Python3.3，这很好。我是否必须通过将文件相对较近地链接到崇高模块？如果是这样的话，我在Finder上找不到它(我正在使用mac)。
浏览 1提问于2017-03-29得票数 1
你能帮我处理密码吗？我想解析电话号码，但我需要激活按钮与点击。但是这个按钮上有标签，这对我来说是个问题。我怎么才能修好它？
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
#from selenium.webdriver.common.touch_actions import TouchActions
#import org.openqa.selenium.
浏览 4提问于2020-03-03得票数 2
回答已采纳
1回答
我回到了Python中的一个旧项目，但我似乎忘记了我是如何提取数据的，如果有人能为我指出正确的方向和文档来实现这一点，我将不胜感激。
我实现了一个web爬虫，它通过扫描我的HTML代码从html页面中提取信息。使用我使用过的BeautifulSoup和urllib2库扫描mywebsite.com/product=1的URL。
但是我想让mywebsite.com增加到最多10。如何提取、读取和替换url的末尾并替换它呢？我注意到其他人实现了urlparse库来替换域main，但是它与我的方法不一样。
> mywebsite.com/product=1
> mywebsit
浏览 2提问于2017-03-03得票数 0
回答已采纳
我的本意是只想爬取xxxxx，为何标签也被爬取了呢
scrapy.py（项目文件）：
图片
pipeline.py:
图片
浏览 60提问于2023-08-23
下面是代码片段：
Function Encode(ByVal dec As String) As String
Dim bt() As Byte
ReDim bt(dec.Length)
bt = System.Text.Encoding.ASCII.GetBytes(dec)
Dim enc As String
enc = System.Convert.ToBase64String(bt)
Return enc
End Function
我正在试着做一个发送图片上传到网站
浏览 0提问于2010-01-11得票数 0
回答已采纳
嗨,
我有一个自定义的索引连接器，通过AssociationNavigator方法与实体相关联。为了( SharePoint 2013的)搜索爬网关联实体，我们需要在关联实体中设置'DirectoryLink‘属性或'AttachmentAccessor’属性，如下所述：*
当我设置DirectoryLink属性时，搜索将搜索关联的实体(子实体)和父实体。
但是，当我将子实体设置为作为附件进行爬网时，如果使用AttachmentAccessor属性，爬网程序只会爬行父实体，而忽略相关实体，因此不会对其进行索引。
这是自定义连接器的一些问题吗？就像在帖子里一样。如果更改为.n
浏览 4提问于2013-07-12得票数 1
我正在尝试将托管属性映射到文档库的Modified By字段。我可以看到该字段的内部名称是Editor。但我在爬网属性中找不到ows_editor。
有没有办法将其添加到爬网属性中，以及如何添加？
浏览 2提问于2011-02-14得票数 0
我有一个二进制分类问题，我想尝试一下: XGBoost模型，因为我在相同的数据集上使用GradientBoosting (sklearn)模型有很好的结果。
import xgboost as xgb
XGB = xgb.XGBClassifier()
model = XGB.fit(X_train, y_train)
但是我有一个我不明白的错误
XGBoostError: b'[11:52:35] src/objective/regression_obj.cc:48: Check failed: base_score > 0.0f && base_score
浏览 3提问于2018-02-01得票数 1
而不是使用google搜索设备爬虫来索引内容，而是使用对sql服务器数据库的查询。
查询运行得很好，但我认为所有这些注册表现在都属于默认集合( Google Search Appliance的完整索引)。
您知道如何仅使用查询的数据创建新的集合吗？
提前谢谢。诚挚的问候。何塞
浏览 0提问于2010-02-09得票数 1
回答已采纳
我有一个大图，有250,000个节点和100,000条边来计算它的顶点间隔度(没有任何权重)。我的目标是使用python-igraph来完成这项工作，因为它支持与其他一些包的并行计算。当我比较python-igarph和networkx在一个有100个顶点的相对较小的格上的结果时(见图)。我发现他们是完全不同的。即使对于一个有9个节点的格子，igraph的结果都是0，而networkx的结果似乎是正确的。谁能帮我解决这个python-igraph的问题？
代码如下：
from igraph import *
import networkx as nx
print("\tUse pyt
浏览 6提问于2018-12-08得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
