腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
在Spark (Pyspark)中加速缓存?
、
、
、
我需要在Pyspark(2.4.4)中缓存一个
数据
帧,内存缓存很慢。 我使用Spark缓存对
Pandas
缓存进行基准测试,通过读取相同的文件(CSV)。具体地说,
Pandas
的速度要快3-4倍。
浏览 26
提问于2020-01-28
得票数 0
1
回答
使用Python比较两个不同大小的发行版
、
、
、
、
我想比较两个不同的
分布
,其中一个有100个
数据
点,另一个有150个
数据
点。在seaborn中,我可以使用lmplot这样做:import seaborn as sns sns.lmplot(x="dist1", y="dist2", data=df) 考虑由两列dist1和dist2组成的输入
pandas
DataFrame,每个列具有相同数量的
数据
点。但是
浏览 3
提问于2016-08-26
得票数 2
1
回答
对Ray使用Prophet或Auto ARIMA
、
、
、
、
Ray是一个用于
数据
处理和训练的
分布
式框架。为了让它以
分布
式方式工作,必须使用Modin或其他由Ray支持的
分布
式
数据
分析
工具,这样
数据
才能在整个集群上流动,但如果我想使用像Facebook的Prophet或ARIMA这样的模型,将熊猫
数据
帧作为输入怎么办当我使用
pandas
dataframe作为模型函数的参数时,它是否只在单个节点上工作,或者是否有可能在集群上工作的解决方案?
浏览 17
提问于2021-11-01
得票数 1
回答已采纳
2
回答
潘达斯能在星火上跑吗?
、
、
我们有一个Spark集群,用于对Python中的各种金融
数据
集进行
分析
,这些
数据
集高达数百to。它适用于那些对火花很满意的人,但最近我们已经有了一些
数据
科学家,他们更熟悉潘达,他们要求使用潘达斯而不是火花。Spark的主要优点是它是为
分布
式处理而设计的,并且能够处理更大的
数据
集,因此我们一直在考虑建立一个Dask集群。但这让我思考:是否有某种概念上的原因,为什么
Pandas
脚本不能通过实现兼容性层来将
Pandas
原语转换为Spark原语,从而使
浏览 1
提问于2018-09-11
得票数 2
回答已采纳
1
回答
我们多久看到一次正态
分布
的
数据
?
、
我很难准确理解几个统计测试,如t检验和方差
分析
测试.这些测试要求我们使用的
数据
必须是正态
分布
的。然而,在分享我在
分析
数据
方面的经验的同时,我
分析
了许多在线来源(网络抓取、在线开放访问的
数据
源等)中的几个
数据
集,并且有相当多的样本(数百,数千)。因为我在链接上读到的文章说所以,我很
浏览 0
提问于2018-08-21
得票数 1
2
回答
如何
将火花
数据
转换为
数据
库考拉
数据
?
、
、
我知道你可以将星星之火
数据
格式df转换成熊猫
数据
格式 然而,这花费了很长时间,所以我在databricks中发现了一个考拉包,它可以让我在没有熊猫
数据
的情况下使用这些
数据
作为熊猫的
数据
我已经有了火花
数据
,但我找不到办法使它成为考拉之一。
浏览 0
提问于2019-06-21
得票数 10
回答已采纳
2
回答
有没有办法使用
pandas
语法来查询postgresql
数据
库?
是否有某种适配器可以像查询熊猫
数据
帧一样查询postgresql
数据
库?
浏览 0
提问于2016-02-26
得票数 3
1
回答
从dataframe绘制多个
分布
图
、
、
我在
分析
一个股票投资组合。我从雅虎金融公司下载了
数据
并创建了一个
数据
框架。我现在要做的是
分析
和绘制简单收益和日志收益
分布
,我希望能够对一只股票进行
分析
,但同时(这是我的问题)将所有股票的
分布
绘制在同一张图中,以便找出它们的不同行为。我可以画出单个股票的收益
分布
,但不能画出多个图。#Import librariesimport
pandas
as pd import matplotlib as
浏览 17
提问于2022-10-07
得票数 0
回答已采纳
1
回答
Dataframe.toPandas总是在驱动节点上还是在工作节点上?
、
、
、
、
假设您正在通过SparkContext和Hive加载一个大型
数据
集。因此,这个
数据
集然后
分布
在星火库集群中。例如,对数千个变量的观察(值+时间戳)。现在,您将使用一些映射/减少方法或聚合来组织/
分析
您的
数据
。例如,按变量名称分组。df.groupBy('var_name').mapValues
浏览 3
提问于2016-08-25
得票数 2
回答已采纳
1
回答
如何
估计密度函数并计算其峰值?
、
、
、
我已经开始使用python进行
分析
了。我想做以下几点: 我用来自gaussian_kde的scipy.stats对核密度函数进行了估计。guassian_kde对
数据
作了任何假设吗?我使用的
数据
随着时间的推移而改变。因此,如果
数据
有一个
分布
(例如高斯),那么它以后可能会有另一个
分布
。gaussian_kde在这个场景中有什么缺点吗?在中,为了得到
数据
分布<
浏览 3
提问于2015-07-06
得票数 11
回答已采纳
2
回答
pyspark.
pandas
和熊猫有什么区别?
、
开始在Databricks上使用PySpark,我看到我可以在
pandas
的同时导入pyspark.
pandas
。有什么不同吗?我想这不像koalas,对吧?
浏览 13
提问于2022-09-20
得票数 0
1
回答
拉普拉斯
分布
抽样
、
有人知道
如何
从Stata的Laplace
分布
中画几次吗?我想要运行一些蒙特卡罗
分析
,并知道我的
数据
符合拉普拉斯
分布
。
浏览 1
提问于2017-04-07
得票数 0
回答已采纳
1
回答
在内存不能容纳的集合上执行Dask计算()
、
、
如果集合不能放入内存,那么dask.compute()的替代方案是什么?某种内存映射?
浏览 2
提问于2019-01-31
得票数 1
3
回答
平均病例与摊销
分析
的差异
、
我正在读一篇关于算法摊销
分析
的文章。下面是一个文本片段。一般情况下,即使输入的概率
分布
的假设是有效的,也不排除一个人会遇到“不幸”并遇到比预期时间更长的输入的可能性。关于上述文本片段,我的问题是: 在第一段中,平均案例
分析
如何
“依赖于关于<e
浏览 0
提问于2011-09-07
得票数 57
回答已采纳
5
回答
在
分析
(和可视化)方面是否有更好的软件/库?
、
我从几家商店获得了产品
数据
(time, title, price, likes, colour, etc.),我想对它做一些
分析
。有些很容易做到:每个国家的颜色
分布
图价格变动 我目前使用的是Python +
Pandas
,用于大多数转换/
数据
操作等。这是正常的工作,但它花了我几个小时,如果不是每一个新的想法,我想做什么样的
分析
,或我想要想象的答案。然后我读到了TensorFlow,这听起来太棒了--也许这是
分析<
浏览 0
提问于2017-07-01
得票数 2
回答已采纳
1
回答
星火DataFrame
如何
处理比内存更大的潘达斯DataFrame
、
、
、
、
我现在正在学习Spark,它似乎是
Pandas
Dataframe的大
数据
解决方案,但是我有一个让我不确定的问题。 目前,我使用HDF5存储比内存更大的
Pandas
数据
文件。HDF5是一个很好的工具,它可以让我在熊猫的
数据
上分块。因此,当我需要对大型
Pandas
数据
进行处理时,我将以块的形式进行处理。但
Pandas
不支持
分布
式处理,HDF5仅适用于单个PC环境。使用Spark可能是解决方案,但我对Spark的理解是,dataframe
浏览 0
提问于2015-10-29
得票数 5
回答已采纳
1
回答
在
数据
nitro中找不到熊猫
、
、
当我尝试使用data nitro shell导入
pandas
时,我得到的错误是没有名为
pandas
的模块。任何想法都将受到高度赞赏。谢谢你!!
浏览 0
提问于2016-03-13
得票数 1
1
回答
在2018年学习Hadoop有什么意义吗?
、
我是一名
数据
分析
员/科学家,主要从事Python开源堆栈的工作,比如
Pandas
、scikit-learn、matplotlib、and等等。我想扩展我的工具箱并学习一个
分布
式计算框架。
浏览 0
提问于2018-12-23
得票数 4
1
回答
Pandas
和
Pandas
被证明可以一起工作吗?
、
、
、
、
我面临许多问题,集成/添加
Pandas
现有代码的
Pandas
代码。1)如果我将
Pandas
dataframes转换为,那么多个操作就无法很好地转换,因为
Pandas
dataframes似乎没有
Pandas
dataframes那么丰富。2)如果我选择使用
Pandas
和
pandas
在同一代码中处理不同的
数据
集,当通过map调用的函数包含任何熊猫
数据
时,Pyspark转换(如map)似乎根本不起作用。我最初试图将整个代码转换
浏览 2
提问于2017-12-26
得票数 6
3
回答
有人知道google analytics是
如何
处理
数据
的吗?
有没有人知道或知道任何讨论谷歌
分析
如何
存储和处理来自海胆呼叫的
数据
的文章?对这个架构很好奇。 谢谢!
浏览 0
提问于2010-02-12
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据分析神器Pandas:如何用1行Python代码挖掘数据?
Pandas数据分析入门(一)
python-pandas 数据分析
python数据分析之pandas数据读写
python数据分析之pandas二
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券