腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
触发Sql JDBC到关系型
数据
库管理系统高效获取表数
、
考虑
将
jdbc
数据
帧
映射到rdbms表,如下所示df.count
不
建议
使用
此计数操作,因为它会将
浏览 1
提问于2020-04-02
得票数 0
1
回答
如
何在
不
复制
数据
的
情况下
使用
spark
将
数据
帧
追
加到
数据源
、
、
我正在尝试
使用
append
将
新
的
数据
帧
保存到
数据源
。问题是
数据
帧
中已经有一些行在
数据源
中是重复
的
。
浏览 16
提问于2021-08-11
得票数 0
2
回答
如何调用从
Spark
作业调用
的
web服务?
、
、
我想调用一个web服务来获取
Spark
Structured Streaming中
的
一些
数据
。有可能吗?多么?
浏览 0
提问于2019-12-07
得票数 5
3
回答
在
Spark
中将多个小表与大表连接
的
最佳方法
、
、
我正在
使用
spark
执行连接倍数表。其中一个表非常大,其他表很小(10-20个记录)。实际上,我想
使用
包含一对键值
的
其他表来替换最大表中
的
值。我
的
问题是;,这是加入表
的
最佳方式。(假设有100个或更多
的
小表) 1)收集小
数据
,把它转换成地图,广播地图,一步一步地转换大
数据
。
spark
.sql(" from bigtable le
浏览 1
提问于2018-02-13
得票数 3
7
回答
如何
将
Parquet文件读入Pandas DataFrame?
、
、
、
、
如
何在
不
设置集群计算基础设施(
如
Hadoop或
Spark
)
的
情况下
,
将
适度大小
的
Parquet
数据
集读入内存中
的
Pandas DataFrame?这只是我想在内存中阅读
的
少量
数据
--在笔记本电脑上
使用
一个简单
的
Python脚本。
数据
不
驻留在HDFS上。它要么在本地文件系统上,要么在S3中。我不想分拆和配置其他
浏览 22
提问于2015-11-19
得票数 146
回答已采纳
1
回答
如
何在
不
使用
表格对象模型(TOM)更改
数据源
的
情况下
更改Azure Analytics Services
数据
库模型
、
、
、
、
我
使用
Azure Analytics Services为每个客户端保存一个
数据
库,每个
数据
库都由相同
的
表结构组成。唯一
的
区别是
数据
特定于每个
数据
库上
的
每个客户端。我想要
的
是
将
这些模型更改应用于Analysis Services上
的
所有其他
数据
库,而
不
更改它们
的
数据源
。 到目前为止,我一直在
使用
c#中
的<
浏览 31
提问于2021-08-10
得票数 0
2
回答
当NullType位于StructType内时,
将
空值写入
Spark
中
的
拼图
、
、
、
我正在
将
一个集合从MongodB导入到
Spark
。所有文档都有字段'data‘,该字段又是一个结构,并具有字段'configurationName’(始终为空)。val partitionDF =
spark
.read.format("com.mongodb.
spark
.sql.DefaultSource").option("database", "db").option: AnalysisException: Parquet
数据源</
浏览 24
提问于2021-08-11
得票数 1
3
回答
为什么不单独
使用
spark
-streaming
、
、
、
我没有太多
使用
Kafka/
Spark
-Streaming
的
经验,但我读过很多关于组合在为分析/仪表板构建实时系统方面有多棒
的
文章。有人能给我解释一下为什么
spark
-streaming不能单独完成吗?换句话说,为什么Kafka在
数据源
和
spark
-streaming之间? 谢谢
浏览 1
提问于2016-01-11
得票数 1
1
回答
如
何在
RDLC report designer和ReportViewer中只
使用
一个DataSet?
、
、
、
使用
VS2010报表设计器设计rdlc报表时,图表等报表项需要
数据
集。在设计报表之后,我
将
一个ReportViewer添
加到
一个webform,它需要它自己
的
所有
数据源
。如
何在
不
复制
查看器页面中
的
DAL功能
的
情况下
将
已耦合到报表
的
DataSet连接起来?
浏览 0
提问于2010-06-28
得票数 1
回答已采纳
1
回答
Spark
dataframe访问Kafka源后失去流媒体能力
、
、
、
、
我
使用
Spark
2.4.3和Kafka 2.3.0。我想用从Kafka到
Spark
的
数据
做
Spark
结构化流媒体。一般来说,它可以在测试模式下工作,但由于我必须对
数据
进行一些处理(并且不知道另一种方法),
Spark
数据
帧
不再具有流式传输功能。 #!the stream .format("kafka").option(&q
浏览 22
提问于2019-09-10
得票数 0
回答已采纳
1
回答
在df.toPandas().to_csv('mycsv.csv')之后,
数据
在重新读取时会被混淆
、
、
我有一张名叫result_25
的
桌子。我
使用
此代码成功地
将
数据
导出到磁盘上
的
csv。result_25.toPandas().to_csv('mycsv.csv')rr =
spark
.read.csv('mycsv.csv',inferSchema=True, header=True) 我查了
数据
,看上去很好。但是,当我用.describe() .desc
浏览 3
提问于2018-10-01
得票数 2
回答已采纳
1
回答
GeoMesa
Spark
不能
使用
UDF函数
、
我想在GeoMesa中
使用
Java函数,但我似乎不能
使用
任何函数,我有以下与GeoMesa相关
的
导入: import org.locationtech.jts.geom.*;import org.locationtech.geomesa.
spark
.jts.*; 但我不能
使用
其中
的
任何UDF函数: dataset.withColumn("column", st_makePoi
浏览 15
提问于2020-07-29
得票数 0
回答已采纳
2
回答
如
何在
不重复
的
情况下
将
火花DataFrame插入到Hive内部表中?
、
、
所以命令直接
将
附
加到
hive表是,但是,追加模式是否确保避免了行
的
重复?例: 其中一个是提到
的
,加载蜂窝表作为火花
数据
,合并两个
数
浏览 1
提问于2018-10-07
得票数 2
2
回答
当指定分区时,
Spark
与Hive
不
兼容。
、
、
、
一种边缘情况,当在带分区
的
Spark
中保存拼花表时,final StructType schema = DataTypes.createStructType(Arrays.asListSaveMode.Append) .partitionBy("year")火花警告:
将
分区
数据源
关
浏览 2
提问于2016-08-31
得票数 14
1
回答
使用
Spark
将
数据
从
数据
库传输到
Spark
、
、
、
我在
数据
库中有一些
数据
,我想
使用
sparklyr在
Spark
中
使用
它。data_in_r <- dbReadTable(dbconn, "a table") 然后
使用
以下方法
将
数据
浏览 2
提问于2017-01-31
得票数 4
回答已采纳
1
回答
触发SQL UDF在不同
的
表上运行相同
的
逻辑
、
、
、
我想在两个不同
的
底层表上运行同一个SQL逻辑两次。有没有一种方法可以在
spark
中做到这一点,而不需要编写两次完全相同
的
逻辑,只是表名不同?
浏览 16
提问于2020-07-29
得票数 0
回答已采纳
2
回答
如何
将
csv/txt文件加载到AWS Glue作业中
、
因为我需要用胶水作为我
的
项目的一部分。 我希望
将
csv/txt文件加载到Glue作业中来处理它。(就像我们在星火中
使用
数据
仓库一样)。这在胶水里有可能吗?或者,我们是否只需要
使用
Crawler
将
数据
爬行到Glue表中,并像下面这样
使用
它们进行进一步
的
处理?= glueContext.create_dynamic_frame.from_catalog( database="emp",table_name
浏览 2
提问于2018-10-20
得票数 4
回答已采纳
9
回答
R:向空
数据
框添加行时丢失列名
、
、
、
我刚从R开始,遇到了一个奇怪
的
行为:在一个空
的
数据
框中插入第一行时,原来
的
列名就丢失了。row.names)#[1] "one" "two"a#1 5 6#[1] "X5" "X6"
如
您所见谁能告诉我为什么会发生这种情况,有没有一种正确
的
方法可以在
不
丢失列名
的
<
浏览 135
提问于2011-03-08
得票数 77
回答已采纳
1
回答
如何
使用
SqlDeveloper(SqlDeveloper)/SqlDeveloper
将
大型
数据
集从一个
数据源
复制
到另一个
数据源
?
、
、
使用
C#,我尝试在5000批中
使用
BulkCopy和BulkInsert。但是对于3亿行,它仍然需要大量
的
时间和内存。将从内存异常中释放出来。用于批量
复制
:(没有加
浏览 4
提问于2022-07-18
得票数 0
1
回答
比较和突出显示了
使用
spark
和java
的
两种
数据
格式
的
差异。
、
、
、
我正在
使用
spark
和java来尝试比较两种
数据
帧
。它们都有相同
的
列。
如
您所见,下面的
数据
帧
唯一不正确
的
地方是第二代
数据
帧
中
的
emp_id 4.。Dataset<Row> df1 = <
浏览 6
提问于2021-10-03
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark Streaming 2.2.0 Input DStreams和Receivers
Hadoop MapReduce与Apache Spark
Spark Streaming 2.2.0 Example
Spark Streaming与Kafka如何保证数据零丢失
半小时搭建 spark 应用
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券