0回答
我最近从Spark 1.6迁移到Spark 2.X，我也想-在可能的情况下-从Dataframe迁移到数据集。我试过这样的代码
case class MyClass(a : Any, ...)正如您所看到的，MyClass有一个Any类型的字段，因为我在编译时不知道使用x.get(0)检索的字段的类型。它可以是一个长的、字符串的、整数的<
浏览 0提问于2017-01-06得票数 4
回答已采纳
我们目前在工作中使用类型化数据集。我们目前正在探索使用Graphframes。
然而，图形帧似乎是基于数据帧，即DatasetRow。图形帧是否与类型化数据集兼容。例如DatasetPerson
浏览 3提问于2016-11-10得票数 1
回答已采纳
我使用SWAT模块在Python中访问SAS数据。一个键列包含数据类型为"char“的类别。我有另一个数据帧，我导入为CASTable，如下所示：meta = conn.read_csv("file.csv")
元数据帧有一个类似的列，但它被导入为dtype：&qu
浏览 13提问于2021-02-16得票数 1
2回答
我正在阅读以csv格式存储的巨型熊猫( 18.1版本，特意) DataFrames (~总计30 GB)。但是，使用read_csv时，内存消耗会增长到初始csv的两倍。文件--> 60 GB。然而，这要慢得多，而且并没有真正减少内存的使用。我用4 GB的DataFrame试过了。在读取了DataFrame之后，该脚本仍然消耗了大约7 GB内存。下面是我的代码：
浏览 2提问于2017-01-01得票数 5
1回答
我尝试将dataframe中的内容传递到我的sql存储过程中。我使用map函数遍历dataframe内容并将它们发送到db中。我在尝试这样做的时候出错了。对于任何字段(类："java.lang.Object"，名称："_1") -根类："scala.Tuple2“，我收到一个名为No Encoder found的错误 val savedDataFrame = dataFrame.map(m => sendD
浏览 14提问于2017-08-06得票数 1
回答已采纳
我将一个很大的数据帧传递给一个函数，这个函数是用来做一些带条件的计算的，但是Python返回了一个错误。我认为这是因为我正在检查数据列是否等于某个特定值，然后执行计算，否则执行另一个计算。我尝试在pandas数组中进行计算，而不是遍历每一行数据，然后由于数据集很大而逐行计算。'P','C'],'S':[978,978,978,978,978],'R':
[
浏览 1提问于2017-10-10得票数 1
已经在数据集上实现了ANN回归。预测值和实际值存储在数据帧中。实际值为float类型，当我使用df.info()检查它时，数据帧中的预测值被显示为类型对象。dataframe中的预测值类似于以下代码：a=[[1.4],[3.6],[6.7]]df['a']=a
但是，我希望如何将
浏览 7提问于2022-02-23得票数 0
我有一个包含三列的数据集。第一列是类型，第二列是面积，第三列是价值。我想写一个逻辑向量，类型=1，面积=3，值= 6。我可以使用子集创建数据帧，但我不能创建逻辑向量。数据集为Jdbaba
浏览 1提问于2013-02-02得票数 17
回答已采纳
1回答
我试图理解gstreamer图中的“任意”一词，这是我所得到的。试着到处搜索，但没有一个正确的定义。有人知道这个定义吗？问候
浏览 9提问于2021-12-13得票数 0
回答已采纳
使用带有数据类型的dict转换Pandas数据帧的列的数据类型的最佳方法是什么？例如，我有一个数据帧df： d = {'col1': ["1", "abc"], 'col2': ["abc", "02-02-2021"]}
df = pd.DataFrame(da
浏览 11提问于2021-09-30得票数 0
回答已采纳
我使用Kaggle Spotify 1921-2020 (data.csv)数据集，其中包含一个列'artists‘，它是object数据类型，我尝试在数据帧spotify[spotify['artists我尝试将其数据类型更改为str spotify.artists.apply(str)，但仍然没有发生任何情况，其数据类型仍显示为object 我到现在为止所做的</em
浏览 24提问于2020-06-10得票数 0
回答已采纳
我有两个不同值的数据帧。两个数据集的第一列是相同的类型(‘日期和时间’)，但频率不同。例如，在一个数据集中，参数以5分钟为间隔排列，而在另一个数据集中，参数以15分钟为间隔排列。是否可以使用python在15分钟内将平均值从一个数据集传输到其他数据集？图中所示数据示例： ? 我用过pd
浏览 24提问于2019-01-30得票数 0
我希望从数据框架(make_results中的df)获取索引，并确保只有索引是另外两个数据帧(X_train、X_test)中的列。但目前正在收到错误：
我希望它们只有与这些索引相匹配的列：
# Remove variables
浏览 1提问于2019-04-16得票数 0
我有两种不同类型的数据。第一个数据帧是每小时，第二个数据帧是每分钟。因此，我需要分别提前24小时和30分钟预测这个数据。但我有问题，使我创建的函数可以与这两种数据框架。比方说，我想将我的数据集划分为训练数据集和测试数据集。如果我的数据以小时为</em
浏览 50提问于2019-05-21得票数 1
回答已采纳
我正在尝试读取一个数据集，它有几行不均匀的列计数('ragged')。我想省略那些行，读取其余的行。在pandas中，有没有可能不将数据集拆分成单独的数据框并将它们组合在一起？
浏览 4提问于2019-07-26得票数 1
我正在尝试操作一个简单的csv文件(来自斯坦福大学自定进度的课程之一)。数据集有一个int类型的列，当该列没有数据时，该列包含'*‘。有没有办法在创建此数据集的数据帧时强制使用数据类型？我的意图是强制使用int数据类型(在创建dataframe时或以后)，以便我可以对数据</
浏览 3提问于2019-09-14得票数 0
3回答
我有许多测试，在这些测试中，需要将Pandas数据帧输出与静态基线文件进行比较。基线文件格式的首选选项是csv格式，因为它在Git中具有可读性和易于维护。但是如果我要将csv文件加载到一个dataframe中，并使用如果A是输出数据，B是从CSV文件加载的数据，那么不可避免地会出现错误，因为csv文件不记录数据类型和什么-nots因此，我设计的解决方案是将数据A写入CSV文件，并以与B相同
浏览 1提问于2017-07-19得票数 3
回答已采纳
我有一个非常大的数据集(大约20 it )存储在磁盘上，名为Pandas/PyTables，我想在它上面运行随机森林和增强树。尝试在我的本地系统上做这件事需要很长时间，所以我想把它租给一个我可以访问的spark集群，而不是使用MLLib例程。虽然我已经设法将pandas数据帧加载为spark数据帧，但我对如何在MLLib例程中使用它感到有点困惑。我不太熟悉MLLib，它似乎只接受LabeledPoint<e
浏览 1提问于2015-05-06得票数 0
2回答
将复杂的数据集设置为数据帧
、、、、
1) I希望在Gnu R中与数据集一起进行子集操作，只与巴西、时间和所有系列名称有关收入份额(如“收入份额最低10%”、“收入份额最低20%”等)，总共将有7个系列名称关于收入份额。, Chile, Colombia, Mexico, USA, Venezuela)), id.vars = c("Series.Name", "Time"))WDI <- read.csv(https://dl
浏览 1提问于2015-01-14得票数 1
回答已采纳
1回答
我有一个很大的csv数据帧("mydata")，需要找出数据帧中是否有一个值("10295")以及在哪一列。以下是我的代码which(apply(mydata, 2, function(x) any(grepl("10295", x))))
通过这样做，我在第一次请求时得到TRUE，然后得到"1,2,5,39“作为具有搜索值的</em
浏览 6提问于2020-11-14得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
