腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
PCI合规性-存储计费
数据
、
、
我正在开发一个购物车,如果可能的话,想存储:
存入
MySQL
数据
库。这将是很好的,因为回头客不必每次结账时都重新输入账单信息。我不会存储任何信用卡
数据
。
浏览 0
提问于2011-10-13
得票数 2
回答已采纳
1
回答
表或视图未被插入到
mysql
中,而该表或视图存在于Pyspark中。
、
、
、
我试图使用Pyspark连接插入到现有的
Mysql
表中,但是我得到了以下错误 File "/usr/hdp/current/
spark
2-client/python/pyspark/sql/context.py", line 384, in sql
浏览 0
提问于2020-07-17
得票数 0
回答已采纳
1
回答
如何通过
Spark
WORKER节点从
MySQL
读取
数据
?
、
、
我是
spark
的新手。我们有从
mysql
读取
数据
的遗留java
spark
代码。但是,它在“主”节点加载
数据
,然后根据划分的组将
数据
广播到工作节点。return result;请注意,我们在map函数的外部加载所有组的
数据
,我认为这意味着所有
数据
加载都在主节点上完成,并将广播发送到工作节点进行计算。如果是,那么我担心
数据
太大,所以主内存将不够用。有什么方法可以将这个
数据</em
浏览 2
提问于2021-09-16
得票数 0
1
回答
如何在过滤前将
数据
从
数据
库加载到
Spark
、
我正在尝试运行这样一个PySpark应用程序: dataframe_
mysql
=
spark
.read.format('jdbc').options( url="jdbc:
mysql
://= dataframe_
mysql
.filter("da
浏览 3
提问于2022-08-12
得票数 0
回答已采纳
1
回答
使用
Spark
或Flink将基于Kafka事件的
数据
转换为关系星型模式
、
、
、
、
我正在为一个使用
MySQL
作为其
数据
存储的应用程序构建分析功能。我们有一个基于微服务的架构,也使用Kafka。我们的用例并不真正需要“实时”分析,但这可能会在以后添加。对于卷和用例,我不认为需要基于Hadoop的系统,但Kafka Connect,
Spark
和Flink是可能的。我打算构建一个基于星型模式的报告
数据
库,独立于主生产
数据
库,由维度和事实表组成,并允许Tableau报告这一点。可以编写代码来检查每个事件,然后更新事实表,但是考虑到我可能会在事实表中的
数据
桶上使用15到30分钟
浏览 0
提问于2018-03-23
得票数 3
1
回答
如何将
spark
查询结果转换为dataframe python
、
、
、
如何将
spark
.sql查询结果转换为dataframe,当我在代码行下面运行时,它给了object任何读取object的方法,给出了
数据
结果df =
spark
_session.sql
浏览 14
提问于2022-06-22
得票数 0
4
回答
火花无法从SBT中找到JDBC驱动程序
、
、
、
但是,当我添加行Class.forName("com.
mysql
.jdbc.Driver")时,它会抛出一个ClassNotFoundException。" %% "
spark
-core" % "2.1.0"libraryDependencies+= "
浏览 8
提问于2017-03-01
得票数 2
回答已采纳
2
回答
从
mysql
读取火花外壳中的
数据
、
、
首先,我构建了scala应用程序,使用这一行代码从apache中的
mysql
表中读取
数据
。","file:///tmp/
spark
-warehouse").getOrCreate()var df =
spark
.read.format("jdbc.option("password", "root")现在,我正尝
浏览 2
提问于2017-10-02
得票数 1
1
回答
如何加入来自
mysql
和Oracle的SparkSQL
数据
?
、
在SparkSQL中可以加入
mysql
和Oracle
数据
库中的
数据
吗?我试图加入他们,但在
SPARK
_CLASSPATH中设置多个jars (用于
mysql
和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码:import sys sys.path.append(&quo
浏览 2
提问于2015-12-30
得票数 1
1
回答
确保用户从
mysql
语句中获得正确的信息?
、
当用户将手中的钱
存入
封装在PHP if语句中的帐户时,我将使用此事务:如果帐户在用户存款时访问用户的
数据<
浏览 0
提问于2011-12-09
得票数 0
1
回答
如何在火花上下文中指定多个jdbc驱动程序?
、
、
我有一个应用程序,它从
mysql
和postgresql读取
数据
并进行
数据
处理。我有以下函数来初始化
spark
: global sc, sqlContext, sqlCtx, sql,
spark
'
spark
.driver.extraClassPath', 'path/t
浏览 2
提问于2020-08-13
得票数 1
4
回答
从星火连接到
mysql
、
docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox sequenceiq/
spark
:1.6.0 bash 这项工作如预期的那样Map("url"
浏览 5
提问于2016-09-11
得票数 0
0
回答
需要反复读写的值是否应该
存入
数据
库?
、
、
、
、
一个值将在指定的6-8小时之间反复地做加减运算,并在前端实时展示(大约20秒刷新一次),是否应该将其
存入
数据
库呢?如
存入
数据
库,长时间的反复读些是否对
数据
库性能和程序性能有较大影响;二者应如何取舍,或采用其他更优方案。感谢!
浏览 68
提问于2022-11-17
1
回答
火花源三角洲-湖泊次生砂岩
、
、
在相同的jupyter会话中使用"
spark
.sql.warehouse.dir“(无
数据
库)可以工作。但是在jupyter中重新启动内核后,目录
数据
库和表不再被识别。谢谢,克里斯蒂安 SparkSession.builder .config("
spark
.jars.packages"") "
spark<
浏览 1
提问于2021-09-17
得票数 3
1
回答
从
Mysql
中读取
Spark
、
、
我有一个
spark
作业,它从
mysql
读取一个表,但出于某种原因,
spark
将int列定义为布尔值。如何在表读取期间强制
数据
类型?火花会议:.config("
spark
.sql.autoBroadcastJoinThreshold", -1).config
浏览 10
提问于2022-10-10
得票数 1
回答已采纳
1
回答
Kannel -在特定时间发送短信
、
它接收发送的短信,将
数据
存入
MySQL
数据
库,并进行回复。事情是这样的,我需要让kannel在我指定的时间后发送一条SMS,就像1个小时,或者别的什么。
浏览 2
提问于2012-07-15
得票数 1
回答已采纳
2
回答
带有avro记录的Kafka
、
、
、
、
我有:源- kafka主题(trans)通道-内存宿- Hdfs (avro_event)而不是:我猜这是因为flume期望的记录类型是{header} {body},而来自kafka的
数据
将只是{body}我知道有一种方法可以将写入主题的avro
浏览 0
提问于2015-03-01
得票数 2
1
回答
从
mysql
获取
数据
到Apache (scala)时出错
、
、
、
我想从
mysql
获得
数据
到
Spark
(scala),但当
数据
发生时会出错 com.
mysql
.cj.jdbc.exceptions.CommunicationsException:通信链路故障("jdbc").option("url", "jdbc:
mysql
://127.0.0.1:3360/crawldb").option("driver", "com.
浏览 1
提问于2019-07-24
得票数 0
回答已采纳
1
回答
使用Redis geo 存取经纬度不一致导致距离计算有误差?
、
、
、
、
使用如下代码
存入
坐标A经纬度stringRedisTemplate.opsForGeo().geoAdd(key, new PointstringRedisTemplate.opsForGeo().geoRadius(key, circle, args);Point [x=113.751339, y=23.021206
浏览 269
提问于2023-12-28
1
回答
如何在读取JDBC连接时使用谓词?
、
、
、
默认情况下,
spark
_read_jdbc()将整个
数据
库表读入
Spark
。我使用了以下语法来创建这些连接。<- "
mysql
-connector-java-5.1.43/
mysql
-connector-java-5.1.43-bin.jar" name = "table_name",
浏览 2
提问于2017-08-01
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据集群服务安装-mysql,hive,azkaban,sqoop,spark,python
Python网络爬虫抓取动态网页并将数据存入数据库MYSQL
第八篇|Spark SQL百万级数据批量读写入MySQL
走进大数据 Spark-Spark streaming
大数据:Spark
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券