我最近被介绍给SparkSQL。我们使用Spark 2.4。最近，我发现SparkSQL查询支持其连接策略的以下提示：
广播提示
合并提示
SHUFFLE_HASH提示
不幸的是，我还没有找到任何在线材料来详细讨论这些提示及其应用场景。我希望学习一些关于何时在查询连接中使用这些提示以提高查询性能的技巧。
有人能用一些例子来解释吗。任何帮助都是非常感谢的。谢谢
浏览 3提问于2020-06-08得票数 1
为什么在sparkSql中创建了这么多Parquet文件？我们可以不限制Parquet输出文件吗？
浏览 0提问于2017-01-03得票数 2
1回答
基本上，我有一个火花流工作(与增量)写一个小文件到hdfs每5分钟。我还有一个压缩作业，每天运行，将前一天的数据压缩到一些大文件中(文件的#取决于作业重新分区号)。大文件与原始小文件位于同一个目录中。是否有任何方法有效地删除原来的小文件，因为它们是无用的？
我已经尝试过用于增量表的vacuum函数，但这基本上将所有数据从保留期中删除，不管是否压缩。
下面是我如何压缩数据(我正在使用Java)：
spark.read()
.format("delta")
.load(path) // hdfs path of the data
.w
浏览 5提问于2021-06-29得票数 2
1回答
我有很多小文件，比如说50000多份。我需要一次处理这些文件，使用map约简概念来生成一些基于输入文件的分析。
请建议我这样做，同时也请告诉我如何使用hdfs将这个小文件合并成一个大文件。
浏览 5提问于2014-12-17得票数 0
回答已采纳
2回答
我目前正在优化一个SSIS包，该包在运行时处理大约2000个文件，并将其加载到ETL表中。这是一个简单的foreach循环，将fastload加载到netezza表中。显然，这需要相当长的时间，主要是因为每次加载一个文件时，都需要执行一些其他审计步骤，然后才能直接进入下一个文件。我尝试使用nzload，但它没有太大变化，因为文件的实际加载速度很快，只是1个文件x 2000的整个循环很多，这就引出了我的问题：
有没有一种简单的方法可以把它分成4个流？所有的文件都位于一个目录中(它们是txt文件)，并且都有一个整数结尾。例如，命名约定为File1607120001，结束数字将递增(下一步将是Fil
浏览 2提问于2016-07-19得票数 0
1回答
我使用下面的查询创建了一个单元表，并使用下面提到的第二个查询，每天将数据插入到这个表中。
create EXTERNAL table IF NOT EXISTS DB.efficacy
(
product string,
TP_Silent INT,
TP_Active INT,
server_date date
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 'hdfs://hdfsadlproduction/user/DB/Report/efficacy'
浏览 0提问于2018-03-19得票数 0
回答已采纳
2回答
在给定的HDFS位置上，我有多个parquet格式的小文件(对于给定的月份，计数是递增的，因为我们在给定的月份内每天接收两个或更多的文件)。当我尝试从SPARK 2.1中的HDFS位置读取文件时，读取这些文件所用的时间会更长，并且随着更多小文件被添加到给定位置，读取这些文件所需的时间也会增加。
因为文件很小，所以我不想在HDFS中进一步分区。
通过在HDFS上创建目录来创建分区，然后将文件放置在这些目录中。文件格式为拼花。
是否有其他格式或过程可以一次读取所有小文件，以便我可以减少读取小文件的时间。
注意: 1)尝试创建一个程序，可以合并所有的小文件到一个单一的文件，将添加额外的处理，我的所有
浏览 1提问于2018-01-05得票数 0
2回答
我有1000万个小型XML文件(300.i 500.i)，我使用Mapreduce中Mahaout的XML输入格式读取数据，我使用SAX Parser进行解析。但是处理是非常slow.will的，使用输入文件的压缩(Lzo)有助于提高性能?每个文件夹包含80-90k xml文件，当我启动该进程时，它会为每个file.is运行映射器，有什么方法可以减少映射器的使用吗？
浏览 1提问于2015-09-16得票数 0
回答已采纳
1回答
当我们对一个大文件执行操作时，我们将其拆分成小文件，对它们进行排序，然后将它们合并回一个大的排序文件。
在合并时，我们可以进行多次双向合并，也可以进行一次多路合并。
我想知道哪种方法更好？为什么？
浏览 7提问于2012-08-04得票数 10
回答已采纳
当我执行以下查询时，我只得到一个文件作为输出，尽管我有8个映射器和0个减法器。
create table table_2 as select * from table_1.
调用了8个映射器，没有还原剂阶段。在table_2的位置上只有一个文件，不应该有8个文件，因为我们有8个映射器和0个减速器。
浏览 2提问于2017-11-13得票数 0
回答已采纳
1回答
我已经为Azure数据湖存储Gen2创建了一个外部表。
容器有大约200 K Json文件。
创建json文件的结构时使用
CREATE EXTERNAL TABLE IF NOT EXISTS dbo.table(
ComponentInfo STRUCT<ComponentHost: STRING, ComponentId: STRING, ComponentName: STRING, ComponentVersion: STRING, SubSystem: STRING>,
CorrelationId STRING,
Event STRUC
浏览 9提问于2022-09-17得票数 0
回答已采纳
1回答
SparkR窗口函数
、、、、
我从中发现，SparkR的1.6个版本已经实现了包括lag和rank在内的窗口函数，但over函数尚未实现。如何使用像lag函数那样的窗口函数而不使用SparkR中的over (而不是SparkSQL方式)？有人能举个例子吗？
浏览 5提问于2016-01-19得票数 1
回答已采纳
3回答
我将有多个大小约为10 or的小文本文件，弄不清楚这些文件在HBase或HDFS中的存储位置。什么是优化的存储？因为要存储在HBase中，我需要先解析它，然后根据某个行键保存它。在HDFS中，我可以直接创建一个路径并将该文件保存在该位置。但是直到现在，不管我读到了什么，它都说你不应该有多个小文件，而应该创建更少的大文件。但是我不能合并这些文件，所以我不能用小文件创建大文件。
请给我建议。
浏览 6提问于2016-06-23得票数 0
回答已采纳
1回答
我知道这听起来很愚蠢，也明白hadoop不是为小文件设计的，但不幸的是，我收到了6000+小文件，每个文件大小约为50kb。
每次我尝试运行"hadoop fs -put -f /path/FOLDER_ with _FILES /target/HDSF_FOLDER“时，当连接到namenode时，总会因为一个随机文件而失败。
java.net.SocketTimeoutException: 75000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.Socke
浏览 0提问于2018-06-02得票数 0
3回答
我试图将数据插入创建大量小文件的动态分区表中，我在下面设置了单元格属性，但我仍然可以看到分区文件夹中的小文件，每个任务的大小或avgfile大小似乎都适合我，因为分区文件夹中的文件高于我给出的每个任务的大小。任何帮助都将非常感谢hive.merge.mapfiles=true; hive合并mapredfiles = true hive.merge.size.per.task=10000; hive.merge.smallfiles.avgsize=100;
浏览 3提问于2016-04-05得票数 3
回答已采纳
我是SparkSQL新手，我主要负责编写SparkSQL查询。我们经常需要在查询中使用JOIN大表，并且不需要很长时间就会遇到与它们相关的性能问题(例如。Joins、aggregates等)。
在网上搜索补救方法时，我最近遇到了一些术语-- COALESCE()、REPARTITION()、DISTRIBUTE BY、CLUSTER BY等，而且它们可能用于提高慢速运行的SparkSQL 查询的性能。
不幸的是，我找不到足够的例子，让我清楚地理解它们，并开始将它们应用到我的查询中。我主要是寻找一些例子来解释它们的语法、提示和使用场景。
有谁能在这里帮助我，并提供SparkSQL查询它们的用法和
浏览 5提问于2020-06-05得票数 0
1回答
如果我想重新划分一个数据，如何决定需要创建的分区数量？如何决定是使用重新划分还是合并？我了解到，合并基本上只用于减少分区的数量。但是，我们如何决定在哪种情况下使用哪一种呢？
浏览 0提问于2021-09-30得票数 0
当我使用@vue/cli创建vuejs项目时，我看到有一个文件夹/assets包含图像和我想要的任何东西。而不能在html (如<img src="@/assets/images/home.png" /> )中引用它们或在js部分导入它们。
我的问题是，为什么我不能把资产放在/public/assets中，直接将<img src="/assets/images/home.png" />放在代码中呢？这些资产的优势在哪里？
浏览 2提问于2021-03-11得票数 0
回答已采纳
我有一个项目，它在不同的文件夹中有一些CSS文件，我想将它们自动组合成一个最终/活动文件。
在开发过程中，我希望它们是分开的。我不想在css文件中使用@import。
PhpStorm中的文件观察者对我来说好像他们应该能够做到这一点。因为我需要一些GUI。
我不习惯使用命令行。但是我用这个启动并运行了YUI压缩器。这个设置压缩了我所有的css文件。不需要，只想压缩一个文件。我还了解到，YUI压缩机不能组合文件。
我希望在文件更改上使用以下工作流：
将CSS文件按正确的顺序组合成一个文件
缩小一个CSS文件并保护它
有人能列举出：
要安装哪个节点模块以及该节点的命令
如何
浏览 2提问于2016-06-30得票数 2
2回答
sort -u的合理可伸缩性限制是什么？(以“行长”、“行数”、“文件总大小”的尺寸表示)
在“行数”的维度上，对于超过此值的文件，Unix有什么替代方案？
当然，我可以很容易地实现它，但是我想知道是否有什么东西可以用很少的标准Linux命令来完成。
浏览 0提问于2016-04-26得票数 29
回答已采纳
我如何理解它是否是SparkSQL。Spark文档说SparkSQL有数据帧，但如果我有MS SQL Server代码，我如何转换成SparkSQL才能在亚马逊网络服务上成功运行？
浏览 7提问于2018-07-18得票数 1
回答已采纳
我需要从二进制文件中读取数据。这些文件很小，只有1 MB级别，所以使用binaryFiles()逐个文件地处理它们可能效率不高(开销太大)。
我可以将它们连接到一个大文件中，然后使用binaryRecords()，但记录大小只有512 bytes，所以我想将几个记录连接在一起，以便生成数十兆字节大小的块。二进制文件格式允许这样做。
我如何才能做到这一点？更普遍的是:这是解决问题的正确方法吗？
谢谢!
浏览 0提问于2015-09-04得票数 4
3回答
合并HDFS上的压缩文件
、、、
如何在不通过本地机器复制数据的情况下，将HDFS上的所有文件合并到一个压缩文件中(我知道这些文件都是压缩的)？例如，但不一定要用猪？
例如，我有一个文件夹/数据/输入，其中包含文件part-m-00000.gz和-m-00001.gz。现在，我想将它们合并到一个文件/data/output/foo.gz中。
浏览 0提问于2015-05-06得票数 4
我有一个文本文件(大约600MB)，其中包含使用搜索api收集的json格式的推文。我想根据tweet中的"created_at“值对tweet进行排序，并将它们写入.I使用代码的新文件中：
oldlist=[]
newlist=[]
with open('abc.txt') as f:
for each in f:
oldlist.append(json.loads(each))
newlist=(sorted(oldlist,key=lambda k: k['created_at'])).
我可以使用“>>”将输出
浏览 2提问于2017-06-26得票数 2
1回答
我运行Spark查询并使用它们执行数据转换，然后将最终的结果集(在一系列转换步骤之后)存储到S3。
我最近注意到，我的工作之一是在编写S3时创建大量分区文件，并且需要很长时间才能完成(实际上是失败的)。因此，我想知道是否有任何方法在SQL中执行类似COALESCE的函数来在写入S3之前减少分区的数量？
我知道SQL等效于重新分区是Cluster By。因此，我想知道SQL中是否也有类似的COALESCE操作。
请注意，我只能访问SQL，所以我的问题仅限于Spark SQL API。(例如SELECT col from TABLE1 WHERE .)
我们使用SparkSQL2.4.6.7
谢谢
浏览 3提问于2021-03-30得票数 0
我正在尝试比较spark sql和hive上下文，我可以知道有什么不同吗? hivecontext sql使用hive查询，而spark sql使用spark查询吗？
下面是我的代码：
sc = pyspark.SparkContext(conf=conf).getOrCreate()
sqlContext = HiveContext(sc)
sqlContext.sql ('select * from table')
而sparksql：
spark.sql('select * from table')
我能知道这两个有什么区别吗？
浏览 11提问于2018-08-21得票数 0
我已经尝试了几个选项，但我只看到配置设置将小文件合并为大文件，如下所示，但反之亦然。我希望创建大小为150kb的文件。
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000;
set hive.merge.size.per.task=128000;
浏览 2提问于2017-09-14得票数 0
1回答
我在一个EMR集群上使用S3DistCp，以便将大约200K个小文件(总共3.4 S3 )从一个S3存储桶聚合到同一存储桶中的另一个路径。它正在工作，但速度非常慢(超过20分钟后传输了大约600MB )。
以下是我的EMR配置：
1 master m5.xlarge
3 cores m5.xlarge
release label 5.29.0
命令：
s3-dist-cp --s3Endpoint=s3-eu-central-1.amazonaws.com --src=s3://my-bucket/input/ --dest=s3://my-bucket/output/ --groupBy=.
浏览 2提问于2020-06-06得票数 0
我需要将文件作为一个单元来读取和处理，而不是逐行读取和处理，并且不清楚如何在Hadoop MapReduce应用程序中这样做。我需要做的是将文件的第一行作为标题来读取，我可以使用它作为我的键，下面的行作为数据来构建一个二维数据数组，我可以使用它作为我的值。然后，我将对整个二维数据数组(即值)进行一些分析。
下面是我计划如何解决这个问题，如果这看起来不合理，或者有更好的方法来解决这个问题，我会非常感激的(这是我的第一个严肃的MapReduce应用程序，所以我可能犯了新手的错误)：
我的文本文件输入包含有车站信息的一行(名称、lat/lon、ID等)。再加上一个或多个项目，其中包含一年值(即1
浏览 1提问于2012-07-03得票数 1
回答已采纳
我有很多很大的JSON文件，我想对这些文件运行一些分析。我刚刚开始使用SparkSQL，并且正在努力确保我理解从文件使用SparkSQL (并推断出模式)和使用之间的好处。如果你有任何使用SParkSQL的经验，我很想知道哪种方法是首选的，为什么。
首先，感谢您的时间和帮助！
浏览 1提问于2016-11-09得票数 0
2回答
最近，当我们遇到这个问题时，我正在和我的朋友讨论SparkSQL的特性。它们是酸性交易吗？SparkSQL是否遵循CAP定理？
我对这个领域有点陌生，帮帮我吧。提前谢谢。
浏览 3提问于2016-05-10得票数 3
回答已采纳
不久前，我听说了ASP.Net可以做的一件事，它可以将所有的css和js文件放入交付的请求中(而不是浏览器必须发出新的请求来获取它们)，以减少延迟。
我不知道它叫什么，甚至不知道要找什么。我在VS中找到了一些第三方代码，但仅此而已。
我要找的特色是什么？
浏览 4提问于2015-09-17得票数 0
回答已采纳
我知道如何使用Pig、hive、sqoop和Json加载程序在hadoop中导入和分析结构化和半结构化数据，但是如何导入非结构化数据，如视频、音频或图像，以及如何在it.Kindly上进行进一步的分析，一步一步地解释，如果您有任何分析非结构化数据的用例，这将是非常适合您的！
浏览 3提问于2017-11-14得票数 1
回答已采纳
我正在尝试从SparkSQL中写入和读取镶木面板文件。出于模式演变的原因，我希望在写入和读取时使用Avro模式。
我的理解是，这在Spark之外(或在Spark内手动)是可能的，例如使用AvroParquetWriter和Avro的通用API。但是，我想使用SparkSQL的write()和read()方法(它们与DataFrameWriter和DataFrameReader一起工作)，它们与SparkSQL很好地集成在一起(我将编写和读取Dataset)。
我无论如何也想不出如何做到这一点，我想知道这是否可能。SparkSQL拼接格式似乎只支持“压缩”和"mergeSchema“选项
浏览 1提问于2017-01-04得票数 5
1回答
任何人直接在HBase表上使用SparkSQL，就像在Hive表上使用SparkSQL一样。我是spark.Please新手，指导我如何连接hbase和spark.How来查询hbase表。
浏览 22提问于2016-09-16得票数 7
回答已采纳
我没有在网上或其他问题上找到这个问题的答案，所以我在这里尝试：
我的数据集的大小是几GB的(~5GB到~15 GB)。
I有多个表，其中一些表包含~50M行
I使用的是postgresSQL，它有自己的查询优化(并行工作人员和索引)。
50%的查询利用索引和多个工作人员更快地完成查询。
我的一些查询使用join命令
我读到sparkSQL打算在大型数据集上运行。
如果我有多台服务器要运行，那么使用sparkSQL可以获得更好的性能吗?
是否适合使用sparkSQL或postgresSQL ?的数据集？
什么时候选择sparkSQL而不是postgresSQL ?
浏览 2提问于2021-01-04得票数 1
回答已采纳
我正在使用SparkSQL运行一个火花应用程序。如何合并小文件？我知道.repartition和.coalesce，但这不能用SparkSQL来完成。
浏览 2提问于2018-10-11得票数 0
这是一个相当愚蠢的问题，但我如何将一个文件夹中的多个文件组合成一个文件，而不将它们复制到本地机器上呢?我不关心订单。我原以为hadoop -getmerge会完成这项工作，但后来我发现它会将数据复制到本地机器中。
我会在我的原始星星之火应用程序中这样做，但是添加合并会大大增加我的运行时。我在Hadoop2.4上，如果这很重要的话。
浏览 1提问于2016-10-20得票数 0
我正在尝试通过SparkSQL选择周日录制的所有记录。我做了以下几次尝试，但都是徒劳的。
SELECT * FROM mytable WHERE DATEPART(WEEKDAY, create_time) = 0
SELECT * FROM mytable WHERE strftime("%w", create_time) = 0
如何在SparkSQL中获取星期几？
浏览 28提问于2014-07-29得票数 19
因此，我使用Pig XMLloader将两个表示顶点和边缘数据的XML文件加载到Hadoop/HDFS中，并从中创建了Hive表。
我想使用这个顶点和边缘数据来创建一个基于星火GraphX的图形数据库。我从星火GraphX文档中了解到，除了平面文件来源，HBASE表还可以用来获取火花GraphX。我找不到任何关于使用其他结构化大数据源(如Hive )的星火GraphX文档。
然而，在SparkSQL中，Hive被支持作为结构化数据的来源。SparkSQL中也支持JSON结构化数据。
在SparkSQL中对Hive的支持是否也意味着使用HiveContext的Hive在SparkSQL中是本地支
浏览 3提问于2015-01-16得票数 1
回答已采纳
1回答
DSE 6预装卡桑德拉和SparkSql。有没有人在那里设置过蜂巢？我想知道火花版本的冲突是一个问题。我不这么做的原因是蜂巢似乎允许与游侠掩蔽/授权，但SparkSQL不允许
浏览 0提问于2018-07-03得票数 1
回答已采纳
2回答
我把376K of JSON文件放在S3中的一个目录下。这些文件每个都是2.5 KB，只包含一个记录/文件。当我试图通过下面的代码通过Glue ETL和20 workers加载整个目录时
spark.read.json("path")
只是没跑。5小时后出现Timeout。因此，我开发并运行了一个shell script，将这些文件的记录合并到一个文件中，当我试图加载它时，它只显示一个记录。合并后的文件大小为980 MB。在将这4条记录合并到一个文件下后，当在本地测试时，它可以很好地工作在4条记录上。它按预期显示了4条记录。
我使用下面的命令将来自不同文件的JSON记录追加
浏览 2提问于2022-04-26得票数 1
回答已采纳
我正在使用Apache的SQL来处理结构化Bigdata。我偶然发现了sparkSQL的数据类型(特别是DecimalType )的使用，它比sparkSQL中的任何其他数据类型都支持最多的数据存储，但是即使根据文档：，也可以找到38种精度：：
它内部使用BigDecimal语言的Scala语言，这使精度接近。2^32为甚麽会这样？
我需要实现与scala的BigDecimal通过sparkSQL提供的相同功能。我能知道怎样才能解决这个问题，或者其他我可以尝试的方法吗？
浏览 3提问于2016-11-14得票数 3
我对Spark很陌生，并试图接受它。我们使用Spark-SQL主要用于ETL的数据转换/操作。最近，我偶然发现了一些用于操作星火复杂类型的SparkSQL函数(array、map、struct等)。我遇到了某些函数，如array()、array_zip()、struct()、map_concat()、map_from_arrays()等。我在网上搜索，但不幸的是，我无法获得足够的示例/解释，让我对它们有一个清晰的理解。
请任何人提供一些它的应用程序的例子，这样我就能更好地理解它们在我们的项目任务中的应用。
注意:我只能访问Spark-SQL，但不能访问 PySpark-SQL。
谢谢
浏览 1提问于2020-05-31得票数 0
SparkSQL有一种使用函数调用方法的方法。文档中有一个这样的示例：
SELECT java_method('java.util.UUID', 'randomUUID');
对于我的项目，我想要创建&调用我自己的Java &但是我不知道SparkSQL是否支持这个方法。文档没有提到任何关于调用自定义Java方法的内容。
那么，是否有人知道如何完成这一任务，或者是否有人已经使用SparkSQL创建了自己的Java方法？我很想知道！
你好，迈克尔
浏览 7提问于2022-03-08得票数 1
我在用SparkSQL做一些计算。每5分钟就会有一个新的数据框架出现。我需要计算一下最近一周的数据。
这意味着我需要将12*24*7 =2016年的数据合并成一个大的数据，并运行计算。
这个尺寸将超过我的内存大小。我的星星团中的所有节点都有128 G内存，这是不够的。
因此，我想知道，如果数据太大，不适合在内存中会发生什么？会不会暂时把它换到磁盘上？我是否需要明确要求火花交换，还是它会自动完成？
浏览 2提问于2016-04-08得票数 1
回答已采纳
1回答
我正在处理超过1000000条记录的json文件，我正在逐行读取文件，并提取所需的键值(json是混合结构不固定。因此我正在解析并生成所需json元素)，并生成类似于json_string变量的json字符串，并将数据推送到hive表中，但数据存储在hadoop apps/hive/warehouse/jsondb.myjson_table文件夹中，其中包含较小的部分文件。每次插入查询都会创建新的(.1到.20 kb)零件文件。这是因为如果我在配置单元上运行简单的查询，因为它将花费超过30分钟。显示了我的逻辑的示例代码，它对hive中的inesrt新记录进行多次迭代。
import
浏览 12提问于2018-02-28得票数 1
我已经创建了一个Azure data Lake gen2文件系统来存储和恢复数据。我已经正确地加载了我的数据(每天一个文件)，但是，当我想要使用Azure Data Lake Azure Rest API获取数据时，我只能针对每个请求访问一个文件，所以，如果我需要一个月，我必须每天执行一个请求并将其合并到我的本地机器中，而直接在Azure Data Lake gen2中这样做是可取的。
我知道这可以在数据库中使用SparkSQL和通配符来完成，但是如果我可以直接在Azure Data Lake gen2 rest API中使用通配符，那就更好了。我已经找过了，但是我发现文档不清楚。每个人都知道
浏览 29提问于2019-04-04得票数 -2
2回答
我在hdfs上有4个文件。
1.txt、2.txt、3.txt和4.txt。在这4个文件中，前3个文件的数据内容如下所示，4.txt文件为空。如何执行映射器。
映射器数=输入分叉数。
我的问题是，所有这些文件是存储在一个64 MB的块还是4个不同的块？因为每个文件的数据小于64 is。
1.txt这是文本文件1
2.txt这是文本文件2
3.txt这是文本文件3
4.“空”
浏览 4提问于2015-09-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
