2回答
使用Spark1.5和Scala2.10.6 .where(df("tags").contains("private"))
由于数据类型不匹配导致线程“主”org.apache.spark.sql.AnalysisException:无法解析‘Contains(标记，私有)’中</e
浏览 3提问于2016-01-17得票数 19
回答已采纳
1回答
在我下面的实现中，左反连接和除星火之外是否有区别？ | ).toDF("number", "word", "value") |
浏览 1提问于2020-04-29得票数 0
回答已采纳
1回答
看起来spark sql对" like“查询是区分大小写的，对吧？spark.sql("select distinct status, length(status) from table")Active|6
不返回值
spark.sql("select distin
浏览 8提问于2018-11-28得票数 4
scala> val l1 = List(84.99F, 9.99F).toDF("dec")l2: org.apache.spark.sql.DataFrame = [dec: double]
scala> l1.s
浏览 7提问于2022-06-29得票数 1
回答已采纳
我正在试着用Spark加载和分析一些镶木地板文件。我使用schemaMerge加载文件，因为较新的文件有一些额外的列。此外，一些文件的列名是小写的，而其他文件的列名是大写的。integer,我遇到了一个关于ParquetFileFormat类的inferSchema方法的问题。模式合并被委托给spark sql的StructType merge方法。据我所知，该方法
浏览 23提问于2019-07-31得票数 4
回答已采纳
我正在尝试执行星火的countVectorizer模型。作为这个需求的一部分，我正在读取一个csv文件并从其中创建一个Dataframe (inp_DF)。中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型
浏览 1提问于2017-09-05得票数 0
回答已采纳
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。DataFrame.scala:2086) at org.apache.spark.sql.DataFrame
浏览 21提问于2017-04-20得票数 3
失败的地方！我知道我不是在缓存一个巨大的数据，它只是一个数字，为什么它在这里失败了。) at org.apache.spark.sql.DataFrame$$anonfun$collect$1.apply(DataFrame.scala:1385) at org.apache.spark.sql.DataFrame(DataFrame.scala:1903) at org.apache.spark.
浏览 3提问于2016-10-17得票数 1
回答已采纳
except能在Spark DataFrames上正常工作吗？
在Spark shell中，我创建了一个包含三个字符串的简单DataFrame："a“、"b”、"c“。将Limit(1)分配给数组，从而正确地生成row1 (A)。然后，将row1用作grfDF DataFrame生成tail1上的extend方法的参数。tail1不应该是数组(b，c)的新Dat
浏览 2提问于2017-04-19得票数 0
对象的main方法中运行上述代码时所收到的错误：at org.apache.spark.sql.DataFrame.take(DataFrame.scala:1377)
at org.apache.spa
浏览 4提问于2015-11-04得票数 1
回答已采纳
我有一个json类型的文件(不是真正的json结构)，但是我转换为json并通过spark (我们在Spark1.6.0中)读取，我还不能使用spark 2中的多行功能。它显示结果，但同时出错。我有这样的文件。仅举一个例子，但它是一个数组： {
浏览 2提问于2018-08-31得票数 1
list2 = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i']我希望将list2的每个值与数据中的每个list1值进行比较，并构建一个0/1值的数组，其中1表示list2的值是否存在于list1中。，因为我最
浏览 9提问于2022-10-09得票数 1
回答已采纳
有时(例如，为了测试和标记)，我想强制执行在DataFrame上定义的转换。DataFrame写到HDFS，但是这会“扰乱”我的系统，我不想再保存更多的表。那么触发DataFrame求值的最佳方式是什么呢 编辑： 请注意，在spark开发人员列表上还有一个最近的讨论：http://apache-spark-developers-list.1001551.n3(DataFrame.
浏览 62提问于2017-03-10得票数 20
回答已采纳
1回答
尝试从Windows中的Eclipse程序连接到Windows。如何在类路径中设置hbase-site.xml？)
at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(<em
浏览 4提问于2016-11-18得票数 0
1回答
$1$1.apply(DataFrame.scala:1499) at org.apache.spark.sql.DataFrame$$anonfun$org$apache$spark$sql$DataFrame:2086) at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(DataFrame.<e
浏览 4提问于2016-11-16得票数 0
我的数据帧结构： |-- c1_x: double (nullable = true) |-- c3_z: doubleDataFrame.scala:2125)
at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(DataFrame.scala</em
浏览 2提问于2016-07-27得票数 1
1回答
估计大小为61.8 KB，空闲78.0 KB) 16/12/29 11:55:36 INFO storage.MemoryStore:块broadcast_2_piece0存储为内存中的字节(估计大小为:块broadcast_3存储为内存中的值(估计大小为212.1 KB，空闲309.7 KB) 16/12/29 11:55:36 INFO storage.MemoryStore:内存中存储为字节的块(DataFrame.
浏览 5提问于2016-12-29得票数 1
我用的是火花1.5。我有两份表格的数据：res1: org.apache.spark.sql.DataFrame = [basket_id: string,at org.apache.spark.sql.DataFrame.collect(DataFrame.scala:1385)
at org.apache.spark.sql.Dat
浏览 5提问于2016-12-13得票数 71
回答已采纳
1回答
我是Scala/Spark编程的新手，我需要将DataFrame保存为XML文件，我从HQL (Hive)查询中获取DataFrame。它是一个简单的DataFrame (没有数组或其他复杂类型) 我已经研究并找到了spark-xml库，但是这个库似乎不能解决这个问题。
浏览 32提问于2019-03-10得票数 0
回答已采纳
我可以在中验证它。另外，Vora Thriftserver也不会死。 at org.apache.spark.sql.execution.ExecutedCommand.doExecute(commands.scalaorg.apache.spark.sql.DataFrame.<init>(DataFrame.
浏览 3提问于2016-05-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
