我有一个要处理的pandas数据帧，最好是使用一个类。数据帧很大。# some datasymbol_2 = 10001
stats_1 = Calc_stats(symbol_1, df)
stats_2 = Calc_stats(symbol_2, df) 所以我的问题是:我会在memmory中为创建的类的
浏览 19提问于2021-05-02得票数 1
1回答
我的问题只是关于性能，而不是语义。import pandas as pdb = pd.Series# equivalently
浏览 2提问于2016-06-20得票数 4
我通过拼图文件将大量数据读入到数据帧中。我注意到大量的列都有1,0，-1作为值，因此可以从Int类型转换为Byte类型，以节省内存。我写了一个函数来做这件事，并返回一个新的dataframe，其中的值被转换为字节，但是当在UI中查看dataframe的内存时，我发现它只是保存为原始dataframe的转换，而不是新的dataframe本身，因此占用了相同的内存量。
浏览 3提问于2018-02-01得票数 5
PCIE总线带宽延迟强制限制应用程序应如何以及何时将数据复制到GPU或从GPU复制数据。 在直接使用cuDF时，我可以高效地将单个大型数据块移动到单个DataFrame中。当使用dask_cudf对我的DataFrames进行分区时，是否一次一个地将分区复制到GPU内存中？一批一批？如果是这样，多个拷贝操作而不是单个较大的拷贝是否会产生显著的开销？
浏览 74提问于2019-02-15得票数 2
1回答
从读取数据时，我似乎可以将波束PCollection转换为DataFramedf = to_dataframe(pcollections)(我问题中的数据格式很小，足以容纳到单机的内存<
浏览 3提问于2022-04-03得票数 0
1回答
在这个应用程序中，我广泛地使用了隐式类(Pimp模式)来实现更通用的实用程序，比如通过创建一个扩展Spark的Dataframe的隐式类来将Dataframe写入HBase。例如,
implicit class DataFrameExtension(private val dataFrame: DataFrame) extends Serializable { .....// Custom methods to perform so
浏览 3提问于2018-09-10得票数 0
回答已采纳
我的任务是做一台路由器。以太网分组数据类型为vector <unsigned char>，并且以太网报头如下：
现在我没有太多使用向量的经验，但我的问题是如何提取有效负载部分？例如，如果以太网包是ARP包，我希望能够使用以下结构来检查操作码，并且基本上能够执行以下操作struct arp_hdr unsigned short arp_hrd; /* format of hardware address */
unsigned short a
浏览 22提问于2020-02-22得票数 0
回答已采纳
包含许多解析逻辑，用于检测CSV字符串并将其转换为数值和日期时间Pythong值。我的问题是，有没有办法也在包含字符串数据的列的DataFrame上调用相同的转换，但是DataFrame不是存储在CSV文件中，而是来自不同的(未解析的)源？因此只有一个内存DataFrame对象可用。
因此，将这样的DataFrame保存到CSV文件并读回它会进行这样的转换，但在我看来效率非常低。
浏览 0提问于2019-06-11得票数 0
1回答
嗨，我是Python新手，我正在尝试使用下面的代码从csv文件中读取y = dataFrame.loc[:,94]print(y)
但是，当我将同一个csv文件的内容复制到另一个有人能帮我做这个，因为我不能继续复制<
浏览 2提问于2016-06-03得票数 0
回答已采纳
1回答
我使用的是python2.7中的dataframe，并且希望从我的df中删除重复的索引值。= df[~df.index.duplicated(keep = "first")]当我试图对达克数据进行同样的处理时，我得到了
我可以重置索引，而不是使用作为索引的列来删除复制的，但是如果可能的话，我想避免它。我可以使用df.compute()，而不是删除重复的索引值，但是这个
浏览 0提问于2017-11-28得票数 1
回答已采纳
我有一个场景，在这个场景中，我希望将数据格式ArrayRow的结果转换为RDDRow。我尝试过使用并行化，但我不想使用它，因为它需要在一个系统中包含整个数据，这在生产盒中是不可行的。我尝试了这个链接()中给出的方法，但是它对我不起作用。
浏览 1提问于2017-06-17得票数 2
我无法创建空的dataframe，然后使用列表理解将边缘节点复制到dataframe中。df = pandas.DataFrame(columns=['Source','Target'])我收到一个错误，指出它无法将44000复制
浏览 0提问于2019-08-28得票数 0
如何将生成的dask.DataFrame转换为pandas.DataFrame (假设我已经完成了繁重的任务，只想将sklearn应用到聚合结果中)？
浏览 27提问于2016-08-18得票数 43
回答已采纳
我有这个功能 def __init__(self, df): 当我想用pandas.DataFrame.filter将值复制到类的数据帧中时，它始终保持为空：print(mydf.df)
浏览 4提问于2022-06-05得票数 -3
2回答
大熊猫类别代码的d型变化
、、、、
假设我将布尔列作为category存储在pandas.DataFrame中。但有一点是扭曲的--基础值是str，而不是bool。也就是说，值是"True"/"False"，而不是True/False。我如何：例如，将布尔值作为字符串是DataFr
浏览 5提问于2022-06-01得票数 2
回答已采纳
我有一个只有一个索引的DataFrame和一个有MultiIndex的DataFrame，它的最后一级与单索引DataFrame相同。我正在尝试复制/移植其中的内容：
In [6]: cols = ('one','two','three'
浏览 2提问于2013-07-03得票数 2
回答已采纳
2回答
我想从csv创建的pandas数据帧创建一个类。最好的方法是使用@staticmethod吗？这样我就不必为每个对象单独读入数据帧
浏览 0提问于2014-11-16得票数 9
回答已采纳
我试图通过在Pandas (来自BeautifulSoup4)中迭代soup中的数据来创建一个soup。建议使用.loc方法来来创建DataFrame。BeautifulSoup(r.content)
dfi = pd.DataFrame
浏览 2提问于2014-09-15得票数 2
回答已采纳
1回答
我需要用我自己的自定义通信来运行Spark SQL查询，从表名到拼图数据。使用sqlContext.read.parquet将拼图数据读取到DataFrames并将DataFrames注册到df.registerTempTable并不适合我的用例，因为这些调用必须在执行SQL但是，我需要能够将UnresolvedRelation解析为表示拼图数据的LogicalPlan，但是sqlContext.read.parquet提供的是DataFrame，而不是LogicalP
浏览 0提问于2017-03-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
