从拼图加载Dataframe并计算RAM中的最大爆炸
，涉及到数据处理和计算资源管理的问题。下面是一个完善且全面的答案：
拼图加载Dataframe是指使用拼图（Pandas）库中的函数将数据加载到Dataframe对象中。Dataframe是一种二维表格数据结构，类似于关系型数据库中的表，可以方便地进行数据处理和分析。
计算RAM中的最大爆炸是指在计算过程中，需要考虑数据量较大时可能导致内存溢出（Out of Memory）的问题。为了避免这种情况的发生，需要合理管理计算资源，包括内存的使用。
在处理大规模数据时，可以采用以下方法来减少内存的使用和提高计算效率：
- 数据压缩：对于数值型数据，可以使用压缩算法来减少数据在内存中的占用空间。例如，可以使用Pandas库中的压缩选项来对数据进行压缩存储。
- 分块处理：将大规模数据分成多个较小的块进行处理，避免一次性加载全部数据到内存中。可以使用Pandas库中的分块读取和处理数据的方法，如
read_csv()函数的chunksize参数。 - 内存优化：在数据处理过程中，可以优化代码和算法，减少不必要的内存占用。例如，避免创建不必要的中间变量，使用迭代器代替列表等。
- 数据类型选择：选择合适的数据类型来存储数据，避免使用过大的数据类型。例如，可以使用整数型代替浮点型、使用类别型代替字符串型等。
- 数据分析引擎：使用高效的数据分析引擎来处理大规模数据，如Apache Spark、Dask等。这些引擎可以将数据分布式存储和计算，充分利用集群资源。
对于RAM中的最大爆炸问题，腾讯云提供了一系列的云计算产品和解决方案，以帮助用户高效处理大规模数据和管理计算资源。以下是一些相关产品和介绍链接：
- 腾讯云数据仓库（Tencent Cloud Data Warehouse）：提供高性能、可扩展的数据仓库解决方案，支持大规模数据存储和分析。详情请参考：腾讯云数据仓库产品介绍
- 腾讯云弹性MapReduce（Tencent Cloud Elastic MapReduce）：基于Apache Hadoop和Spark的大数据处理平台，可快速处理大规模数据。详情请参考：腾讯云弹性MapReduce产品介绍
- 腾讯云云服务器（Tencent Cloud CVM）：提供高性能、可扩展的云服务器实例，可用于部署数据处理和计算任务。详情请参考：腾讯云云服务器产品介绍
通过合理选择和配置腾讯云的相关产品，结合上述的数据处理和计算资源管理方法，可以有效解决从拼图加载Dataframe并计算RAM中的最大爆炸问题。
相关·内容
1回答
当我将csv文件加载到situation时，我遇到了一个非常奇怪的情况。当我尝试用~190 k记录加载一个文件时，只有~8k记录出现在我的dataframe中。
我试着将数据加载到我的Mac上的loading中，一切都很好。我在谷歌上搜索了这个问题，但没能找到解决方案。
以下是这两台机器的规格：
PC -R+R Studio:最新版本-
RAM: 8GB
MAC -R+R Studio:最新版本-
RAM: 16 RAM
我也尝试过各种解决方案，比如(引号= "")，但这并没有解决截断问题。也许我错过了一些很简单的东西。有什么想法吗？
浏览 1提问于2015-09-17得票数 2
回答已采纳
2回答
我正在从hdfs加载数据以通过spark点燃。原始数据大约是5 5GB的拼图快的格式(大约0.5Bn行)。
我使用spark-ignite api加载数据()。
ignite集群是3个节点，全部运行在服务器模式下，8 8GB持久内存，启用持久性，禁用WAL。
在加载数据时，只要在持久内存中有空间，它就会运行得很快。一旦它不能放入内存中，加载就会非常缓慢并逐渐减少。
我尝试了一些建议的配置(GC调优、堆上存储)，但都没有显著提高加载速度。
由于ignite memory-store不会压缩数据，它需要更多的存储空间(我加载了0.2Bn行，这几乎占用了45 GB的空间)。我认为增加持久内存大小不应
浏览 1提问于2019-06-18得票数 1
1回答
我有一个PSspark格式的DataFrame，格式如下
Date Id Name Hours Dno Dname
12/11/2013 1 sam 8 102 It
12/10/2013 2 Ram 7 102 It
11/10/2013 3 Jack 8 103 Accounts
12/11/2013 4 Jim 9 101 Marketing
我想做基于dno的分区，并保存为表格在蜂窝使用拼图格式。
df.write.saveAsTable(
'
浏览 2提问于2017-01-19得票数 2
回答已采纳
有没有什么python库可以用来只获取parquet文件的模式？
目前，我们正在Spark中将拼图文件加载到dataframe中，并从dataframe中获取模式以显示在应用程序的某些UI中。但初始化spark-context和加载数据帧以及从dataframe中获取模式是一项耗时的活动。因此，我们正在寻找一种替代方法来获取模式。
浏览 9提问于2017-01-10得票数 9
问题: DASK数据帧
loc[concrete_row, concrete_column]
返回多行的pandas数据帧，每行都有相同的索引：
0 [1,2,3]
0 [1,2]
0 [3]
而不是一个行值。
0 [1,2,3]
我正在阅读许多拼图文件：
dd.read_parquet(dataset_dir+'/train/date*/*.parquet')
拼图文件中的每一行都有一个数组！
似乎在调用具体行时，dask data
浏览 48提问于2019-06-05得票数 0
3回答
可以使用生成器打开拼图文件并逐行迭代吗？这是为了避免将整个拼图文件加载到内存中。
该文件的内容是pandas DataFrame。
浏览 0提问于2018-06-08得票数 5
我想从Dask dataframe中保存多个拼图文件，一个拼图文件用于特定列中的所有唯一值。因此，拼图文件的数量应该等于该列中唯一值的数量。
例如，给定以下数据帧，我想保存四个拼图文件，因为在列"A“中有四个唯一的值。
import pandas as pd
from dask import dataframe as dd
df = pd.DataFrame(
{
"A": [1, 1, 2, 3, 1, 3, 6, 6],
"B": ["A", "L", "C",
浏览 5提问于2021-04-09得票数 1
1回答
缓存使用、空间局部性和延迟
、、、、
我正在学习有关空间局部性的缓存操作。(到目前为止，我的参考文献是Lin和Snyder、，当然还有维基百科的并行编程原则。)
举下面的例子，与gcc一起编译，运行在Windows7Professional上，使用Intel Core2 Duo (L7500)。
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
int main()
{
int *array;
int length;
int count;
int range;
int i;
//
浏览 3提问于2012-04-26得票数 4
回答已采纳
1回答
我需要建立一个个人数据库(从我的电脑上运行)来分析棒球/足球记录和统计数据。
我想使用SQL。在工作中，我使用、，并且我希望类似类型的UI和语法在家里对我的棒球统计数据运行查询。
我希望免费或‘便宜’选项的服务器，数据库等，而不是一个试用版。
我安装了WAMP，我想知道我是否遗漏了一块拼图来运行我在工作中的查询。
我遇到的问题是编写和执行查询。Phpmyadmin不允许我对数据运行查询。我需要另一个程序吗？你能推荐另一个程序使用吗？
如果那个程序能执行T，我会很高兴的。
最终目标，我正在寻找一个数据库，我将在其中：--导入大量CSV文件，可能值10-20 GB -- SQL/T语法(不需要PH
浏览 8提问于2013-10-04得票数 0
回答已采纳
我有三星X360笔记本电脑。它配有3gb的内存安装。我已经安装了Ubuntu 15 64位。我把1gb的棒升级为2gb的。从3gb ram升级到4gb ram后：
Ubuntu 15 amd64不会加载并在引导过程中不断地重新启动(我从来没有看到过启动屏幕，只有启动菜单)。
Ubuntu直播的amd64也会这样做。
Ubuntu15livei386将引导并显示所有4gb的ram。
我运行了memtest，它通过了所有4gb，我启动了新的2gig棒和Ubuntu amd64加载，它加载1G棒，3G总计与原始内存相同。引导到amd64中，没有问题。
我只在Ubuntu amd64中安装了4G内存，
浏览 0提问于2015-12-30得票数 1
1回答
嗨，我正在做一个益智游戏，并被困在逻辑“断”我的拼图碎片(UIImageVIew)到一个瓷砖板(主要UIView的子视图)。我有一个游戏，我可以把每一块拼图从主视图中拖来拖去，但是当到了我的时候，把它放在正确的瓷砖正方形上，我不知道如何让它与正确的瓷砖相吻合。
我读过关于使用中心作为确定我的拼图在视图中的位置的方法，但是我如何确定它离它的“正确的瓷砖”有多近，并让它卡在它的位置上。
谢谢你以后的回应。
浏览 1提问于2014-01-12得票数 0
回答已采纳
有没有一种简单的方法可以在SparkSQL DataFrame的数组列上使用explode？这在Scala中相对简单，但是这个函数在Java中似乎是不可用的(如javadoc中所提到的)。
一种选择是在查询中使用SQLContext.sql(...)和explode函数，但我正在寻找一种更好的方法，尤其是更简洁的方法。DataFrame是从拼图文件加载的。
浏览 0提问于2015-08-06得票数 9
回答已采纳
我有两个数据帧。一个从拼图加载，另一个从JSON中的字典生成。 即使索引是相同的，例如0-5，我仍然得到这个错误。 E AssertionError: DataFrame.index are different
E
E DataFrame.index classes are not equivalent
E [left]: RangeIndex(start=0, stop=5, step=1)
E [right]: Index(['0', '1', '
浏览 18提问于2021-11-22得票数 0
回答已采纳
我遇到了一个很奇怪的问题，我试着找了好几天的答案。我的游戏刚刚有了一个新的粒子系统，但是太慢了，不能玩。不幸的是，BufferedImage转换非常慢。爆炸效应包括从.png文件中加载的大约200个白色精灵，随机旋转、缩放和着色，以随机速度移动。
我试着用三重/双缓冲来提高性能，但遇到了一些问题。
我的第一次尝试是在JPanel游戏中。我在JFrame类(Main)中设置了缓冲区，然后在Game (扩展JPanel)类中完成了绘图，但是没有Graphics = bufferstrategy.getDrawGraphics()；。然后，在绘图方法的末尾，我显示了缓冲区，如果它没有丢失。缓冲区总是
浏览 6提问于2013-01-25得票数 26
2回答
我正在使用python 3和dask来读取拼图文件的列表，做一些处理，然后将它们全部放入一个新的联合拼图文件中供以后使用。
该过程使用了如此多的内存，以至于它似乎试图在将所有拼图文件写入新的拼图文件之前将它们读取到内存中。
我正在使用下面的代码
def t(path):
import dask.dataframe as dd
ddf = dd.read_parquet(path)
ddf["file"] = path
return ddf
b = bag.from_sequence(parquet_files)
with ProgressBar
浏览 107提问于2019-08-04得票数 2
2回答
我正在尝试使用Kafka主题中的数据，将其加载到Dataset中，然后在加载到Hdfs之前执行过滤。
我可以从kafka主题中消费，将其加载到dataset中并保存为HDFS中的拼图文件，但无法执行过滤条件。你能分享一下在保存到hdfs之前进行过滤的方法吗？我正在使用Java和Spark来消费来自kafka的主题。我的部分代码是这样的：
DataframeDeserializer dataframe = new DataframeDeserializer(dataset);
ds = dataframe.fromConfluentAvro("value", <your
浏览 6提问于2020-05-05得票数 1
我使用以下代码将数据从拼图读取到Dataframe
DataFrame addressDF = sqlContext.read().parquet(addressParquetPath);
如何从拼图到数据集读取数据？
Dataset dataset = sqlContext.createDataset(sqlContext.read().parquet(propertyParquetPath).toJavaRDD(), Encoder.);
编码器参数应该包含什么？另外，我是否必须创建一个属性类，然后传递它，或者它是如何传递的？
浏览 2提问于2016-03-26得票数 3
我在HDFS中有成百上千的拼图文件。我在亚马逊网络服务S3中也有相同的文件。在电子病历集群上，我运行了一个机器学习模型，它可以从HDFS或S3获取其学习数据。
当它从HDFS加载数据时，它花费的时间比从S3加载数据时要长。难道不应该是相反的吗？出现这种情况的原因是什么？
显然，EMR集群中使用的硬件(机器)对于这两种情况都是相同的。
浏览 1提问于2018-11-15得票数 0
我需要将多个形状文件加载到R会话中。目前，我正在单独加载每个形状文件。这是可行的，但它需要很长时间，并且只使用我可用CPU的15%。最近，我尝试使用ForEach和DoParallel加载形状文件：
require(foreach)
require(doParallel)
require(rgdal)
files <- c(
"AHVENANMAA/AHVENANMAA",
"ETELA-KARJALA/ETELA-KARJALA",
"ETELA-POHJANMAA/ETELA-POHJANMAA_1",
浏览 4提问于2016-06-18得票数 1
1回答
我正在为Zend应用程序编写功能测试。我使用PHPUnit和这个包装器运行它们：
我从本地的jar文件(v2.19.0)运行selenium独立服务器。我在这个应用程序中使用了大量的js和ajax，所以我在FunctionalTestCase类中创建了一个waitForAjax函数，这样我就可以等待所有数据正确加载。它使用$.active，就像我使用jQuery ajax函数一样。该函数如下所示：
public function waitForAjax($timeout = 10) {
sleep(1);
for($i = 0 ; $i < $timeout - 1 ; $i++
浏览 0提问于2012-04-20得票数 1
回答已采纳
我正在尝试开发一个后端模块，这将需要我在一个DataFrame上做几个sql更新，由hdfs中的拼图格式支持。我感兴趣的是多个sql更新如何影响DataFrame的RDD谱系，以及在DataFrame上执行多个频繁的sql更新会不会是一个问题，因为根据我的理解，在DataFrame上执行一个sql更新就是一种转换。有没有等同于在单个沿袭步骤中对数据帧进行批量更新的方法？
浏览 0提问于2016-09-15得票数 0
4回答
我正在使用Spark Structured从Kafka队列中读取。读完卡夫卡之后，我在dataframe上应用了filter。我正在将这个经过过滤的数据帧保存到一个拼图文件中。这将生成许多空拼图文件。有没有什么方法可以让我不再写空文件？
df = spark \
.readStream \
.format("kafka") \
.option("kafka.bootstrap.servers", KafkaServer) \
.option("subscribe", KafkaTopics) \
.load
浏览 1提问于2017-09-27得票数 2
我试图了解数据是如何在DataBricks环境中存储和管理的。我对引擎盖下面发生的事情有相当好的理解，但是在网上看到了一些相互矛盾的信息，因此我想得到一个详细的解释来巩固我的理解。为了问我的问题，我想总结一下我在Apache开发人员课程中所做的练习之一。
作为练习的一部分，我在Databricks平台上遵循了以下步骤：
启动我的集群
将拼花文件读取为DataFrame
将DataFrame存储为DBFS中的用户目录中的Delta表
对上一步中创建的Delta表进行了一些更改
根据特定列(例如State )对相同的Delta表进行分区，并使用覆盖模式保存在DBFS中的同一个用
浏览 6提问于2022-05-20得票数 1
我正在尝试连接几个dask数据帧，但这会导致我所有的RAM被耗尽，并导致我的环境(Google Colab)崩溃。
我尝试使用Dask进行连接，因为我听到Dask对文件进行分区，以便更容易加载到内存中。然而，Pandas能够处理他的操作，而Dask不能。
我之所以使用Dask，是因为当我试图保存我的Pandas数据帧时，我的环境崩溃了。因此，我尝试查看Dask是否能够在不崩溃的情况下保存我的数据，但我被困在创建我的数据帧上。
combA = np.load(file2A.format(0) , allow_pickle=True)
combB = np.load(file2B.format(0
浏览 1提问于2019-05-30得票数 2
2回答
我正在使用基于am335x的定制板。我只有uart端口来将图像加载到内存中。我能让你开始工作。linux内核和dts文件的加载地址是什么。从内存中运行加载内核的引导命令是什么。
浏览 9提问于2015-06-01得票数 0
回答已采纳
How to load a parquet file into vertica database using spark???
链接()
我试着使用上面的链接将数据框(拼图文件)加载到mysql中，它起作用了。但是当我试图将它加载到vertica数据库时，下面的错误是I am facing.The，错误是因为vertica db不支持数据帧(拼图文件)中的数据类型(字符串)。我不想对列进行类型转换，因为这将是一个性能问题。我们希望加载大约2.8亿行。你能建议一下把数据加载到vertica数据库的最好方法吗？
Exception in thread “main” java.sql.SQLSynt
浏览 4提问于2015-10-30得票数 2
示例-现在假设我们有一个输入RDD输入，它在第二步中被过滤。现在，我要计算过滤后的RDD中的数据大小，并考虑到块大小为128MB，计算需要多少分区才能重新分区
这将帮助我将分区的数量传递给重新分区方法。
InputRDD=sc.textFile("sample.txt")
FilteredRDD=InputRDD.Filter( Some Filter Condition )
FilteredRDD.repartition(XX)
问题1.如何计算XX的值？
Q2. Spark SQL/DataFrame的类似方法是什么？
浏览 17提问于2018-02-14得票数 1
回答已采纳
我正在尝试将我的应用程序从Spark 1.6.2更新到2.0.0，我的问题是从Dataframe (我读到的拼图)创建一个数据集。
我知道我可以使用case类或元组来输入Dataframe，然后有一个Dataset，但在运行之前，我不知道哪些数据将加载用户，也不知道列的类型和数量。
要加载数据，我使用SparkSession从parquet读取数据，简单如下：
spark.read.schema(schema).parquet(dataPath)
schemaOfData是由一个列表[ StructType，String]实例化的字符串，该列表包含列的名称和他的类型( else String，
浏览 2提问于2016-10-05得票数 3
1回答
将大型文件保存在烧瓶中
、、、
我正在编写一个"webapp“，供我自己使用，它的目的是用我自己的计算机作为服务器运行。它基本上是一个很好的数据可视化接口。这个应用程序需要在Python中操作大型矩阵(约100 to )，并将计算结果返回浏览器进行可视化。目前，我只是将数据存储在一个csv文件中，每次我想使用它时都会将它加载到熊猫中，但是这非常慢(大约15秒)。是否有办法使这个对象( pandas.DataFrame)在内存中持久存在，或者这没有意义吗？
我试过memcached，我认为这里不合适。我也尝试使用Redis，但从缓存中读取的速度实际上与读取文件的速度相同--如果我将每个矩阵行存储在自己的键下，而如果我将
浏览 3提问于2016-05-24得票数 1
1回答
我已经使用SparkSQL从拼图文件中加载了rdd
data_rdd = sqlContext.read.parquet(filename).rdd
我注意到，一旦有一些聚合函数触发spark作业，实际的文件读取操作就会执行。
我需要测量作业的计算时间，而不需要花费时间从文件中读取数据。(即与输入rdd(数据帧)相同)已经存在，因为它是从sparkSQL创建的)
有没有什么函数可以触发加载executors内存中的文件？
我尝试过.cache()，但它似乎仍在触发读取操作作为其工作的一部分。
浏览 13提问于2017-08-20得票数 1
回答已采纳
我正在尝试将dask数据帧的内容存储到拼图。使用read_sql_table从数据库中读取内容 import dask.dataframe as dd
df = dd.read_sql_table(table, uri, index_col)
df.to_parquet(path) 当我这样做的时候，首先将所有数据读取到内存中。但是，由于整个数据集无法装入内存，内核最终会崩溃。如何将数据分块或通过管道传输，以使此操作成功？ (我正在使用快速拼接作为引擎，但并未与其结合使用。)
浏览 23提问于2020-07-02得票数 0
我是斯派克的新手，学习了Dataframe，操作和体系结构。在阅读RDD和Dataframe的比较时，我混淆了RDD和Dataframe的数据结构。以下是我的观察，如果错误，请帮助澄清/改正。
1)如果源数据是集群(例如: HDFS)，则RDD以分布式方式(块)存储在计算机RAM中。
如果数据源只是一个CSV文件，数据将被分发到运行服务器的RAM中的多个块(如果是膝上型计算机)。我说的对吗？
(2)分块与分块之间有何关系？哪一个是超级集？
3) Dataframe : Dataframe是否也以与RDD相同的方式存储？如果我将源数据单独存储到dataframe中，那么是否将在后台创建RDD？
浏览 0提问于2019-09-12得票数 2
回答已采纳
2回答
我正在尝试从hdfs位置读取拼图文件，做一些转换并覆盖相同位置的文件。我必须在相同的位置覆盖文件，因为我必须多次运行相同的代码。
下面是我写的代码
val df = spark.read.option("header", "true").option("inferSchema", "true").parquet("hdfs://master:8020/persist/local/")
//after applying some transformations lets say the final dataframe
浏览 0提问于2018-09-04得票数 1
1回答
我有一个由分区的拼图文件组成的大型Impala数据库。我直接使用HDFS将一个Parquet分区复制到本地磁盘。此分区总共有15 of，由许多文件组成，每个文件大小为10MB。我正在尝试使用Pandas与Pyarrow引擎或Pyarrow直接读取，但它在内存中的大小使用了超过60‘t的RAM，并且它在使用所有内存之前不会读取整个数据集。内存使用量如此之大的原因可能是什么？
浏览 32提问于2019-02-02得票数 1
在英国和澳大利亚，我们有两个web服务器和一个DB服务器的设置。这些服务器具有Rackspace，在这两种情况下，are服务器都通过私有IP连接到db服务器。在连接到各自区域DB服务器的每个区域的各个web服务器上，相同的网站似乎产生了非常不同的性能。
在澳大利亚服务器上，相应的web服务器和db服务器之间的任何交互似乎都要比英国慢得多。这显然是通过在他们各自的位置上的浏览器触发操作。
澳大利亚的DB服务器略有不同，它有一个更快的处理器和更多的内存。我是一名.NET开发人员，所以我不太确定如何确定问题所在。我如何确定这里发生了什么，并试图找出为什么澳大利亚方面的数据库访问速度似乎比英国方面慢得
浏览 0提问于2018-05-25得票数 1
我正在做一个项目，需要加载基于url的特定模块，有很多模块，我想知道如果你一直需要模块会不会炸毁内存？如果是，那么在执行每个模块之后，有没有什么办法释放内存呢？或者，有没有比需要模块更好的方法？就像fs.readFile然后求值？
浏览 0提问于2015-07-21得票数 0
你能帮我把几个拼花文件装到雪花上吗？
我有大约250个地板文件，存储在AWS阶段。
250个文件=250个不同的表。
我想动态地把它们装到雪花桌子上。
所以，我需要：
从拼花文件中获取模式..。我已经读到，我可以使用拼花工具(Apache).Create表从拼花文件中获取模式，使用模式从拼图文件将数据从拼图文件加载到这个表。
有人能帮我怎么做吗？是否存在实现这一目标的最有效方式？(例如，使用GUI雪花)。找不到了。
谢谢。
浏览 1提问于2022-06-10得票数 0
回答已采纳
我以拼图格式存储了一个pyspark sql dataframe。现在，我还想将其保存为xml格式。我该怎么做呢？直接将pyspark sql dataframe保存在xml中或将拼图转换为xml的解决方案，对我来说什么都行。提前谢谢。
浏览 0提问于2016-06-21得票数 0
我正在写一个从DataFrame到Hive的拼图文件。当我使用snappy作为拼图压缩算法时，我可以看到除了1个任务之外的所有任务都快速完成了写作阶段(例如30/31)。最后一项任务需要很长时间才能完成，因为有很多gc过程。
当我使用gzip作为拼图压缩算法时，一切都会好起来的。
我想知道两种压缩算法的区别。
浏览 1提问于2017-07-25得票数 0
1回答
我使用一台大型机器将完整的数据集加载到内存中，以便使用以下方法进行培训：(使用我的生成器将整个数据加载到x和y张量中)
training_generator = my_generator(train_data_file, batch_size=TOTAL_SAMPLES)
x_tensor, y_tensor = training_generator.__getitem__(0)
我这样做是为了训练得更快，而不用发电机在训练中。我有足够的RAM来加载这个数据集，但是我得到了以下错误。我不知道为什么在加载数据时使用我的GPU。如何更改我的方法以避免过度使用GPU内存？下面是我的getitem函数
浏览 5提问于2020-04-01得票数 0
1回答
我正在做一个嵌入式系统的项目，使用的是ARM M0。
必须创建rom应用程序，其唯一目的是在ROM中存储内容，并在需要时初始化数据和bss部分。
目前为止的loadscript是这样的：
MEMORY
{
rom (rx): ORIGIN = 0, LENGTH = 32K ;
ram (!rx): ORIGIN = 0x10000, LENGTH = 8K ;
}
SECTION
{
. = ORIGIN(rom) ;
.text:
{
KEEP(*(.text)) ;
} >.
.data:
{
KEEP(*(.data))
浏览 1提问于2013-09-30得票数 2
我通过拼图文件将大量数据读入到数据帧中。我注意到大量的列都有1,0，-1作为值，因此可以从Int类型转换为Byte类型，以节省内存。
我写了一个函数来做这件事，并返回一个新的dataframe，其中的值被转换为字节，但是当在UI中查看dataframe的内存时，我发现它只是保存为原始dataframe的转换，而不是新的dataframe本身，因此占用了相同的内存量。
我是Spark的新手，可能不完全理解ByteType的内部原理，那么我应该如何开始将这些列设置为Spark的？
浏览 3提问于2018-02-01得票数 5
1回答
我需要用我自己的自定义通信来运行Spark SQL查询，从表名到拼图数据。使用sqlContext.read.parquet将拼图数据读取到DataFrames并将DataFrames注册到df.registerTempTable并不适合我的用例，因为这些调用必须在执行SQL查询之前运行，而我可能甚至不知道需要哪些表。
我没有使用registerTempTable，而是尝试编写一个使用自己的逻辑解析表名的。但是，我需要能够将UnresolvedRelation解析为表示拼图数据的LogicalPlan，但是sqlContext.read.parquet提供的是DataFrame，而不是Logi
浏览 0提问于2017-03-18得票数 1
1回答
我有一个csv数据文件，可以加载到pyspark中：
spark = SparkSession.builder.master("local").appName("MYAPP").getOrCreate()```
df = spark.read.csv( path = csvfilepath, sep="|", schema=my_schema, nullValue="NULL", mode="DROPMALFORMED")```
检查数据帧的行数得到大约2000万行。
df.count()
我在拼图中重新存储了我
浏览 7提问于2020-05-06得票数 0
2回答
我正在读取一个拼图文件并将其转换为dataframe。 from fastparquet import ParquetFile
pf = ParquetFile('file.parquet')
df = pf.to_pandas() 有没有一种方法可以从一个变量(以前读取并现在保存了拼图数据)中读取拼图文件？ 谢谢。
浏览 12提问于2019-03-07得票数 0
所以我有一个包含160M记录和240列的拼图文件。因此，我使用dask在python中使用EMR CLuster m5.12xlarge加载它。
import dask.dataframe as dd
df = dd.read_parquet(file)
现在我需要其中一列的值计数和归一化值计数：
count = df.a.value_counts()
percent = df.a.value_counts(normalize = True)
a_count = dd.concat([count,percent], axis=1, keys=['counts', '%
浏览 1提问于2021-09-23得票数 0
我发现使用sparksql (来自pyspark)查询从多个拼图文件生成的DataFrame的效率远低于从单个拼图文件生成的相同数量的数据，尽管过滤条件不是第一列(所以我猜它不是索引内容)。有人知道为什么会发生这种情况吗？如何才能使查询响应时间与后者一样高效？ # the parquet files are stored on hdfs
hdfs_path = 'hdfs://localhost:9000/Test/'
paths = [hdfs_path+'p1.parquet', hdfs_path+'p2.parquet', hdfs_p
浏览 10提问于2020-08-05得票数 0
我有一个星火DataFrame df，它的架构如下：
root
|-- k: integer (nullable = false)
|-- v: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- a: integer (nullable = false)
| | |-- b: double (nullable = false)
| | |-- c: string (nullable = true)
是否可以只在a, c中选择v中的df而不执
浏览 2提问于2016-05-11得票数 4
我能够正确地将我的数据湖Gen2存储帐户与我的Azure ML Workspace连接起来。当尝试从数据存储读取一组特定的拼图文件时，它将永远花费时间，并且不会加载它。 代码如下所示： from azureml.core import Workspace, Datastore, Dataset
from azureml.data.datapath import DataPath
ws = Workspace(subscription_id, resource_group, workspace_name)
datastore = Datastore.get(ws, 'my-data
浏览 6提问于2020-10-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
