2回答
一切都很顺利，但在创建JDBC字符串时，我必须在字符串中指定数据库的用户名和密码：但是，我在HDFS上有一个包含密码的jceks文件。我想知道是否有任何方法可以利用该文件来连接到JDBC，而不是纯文本密码？就像在Sqoop中，我们可以这样做：
sqoop impo
浏览 28提问于2017-08-01得票数 1
回答已采纳
1回答
如何在python中解密密码
、、、、
我的代码是使用pyspark连接到sql server。对于这个连接，我得到了jceks的加密密码。如何解密密码并用于从sql server加载表。请提个建议。pyspark.sql.functions import structfrom pyspark.sql.session import SparkSession
.builder \
.appName("Python Spark</e
浏览 14提问于2019-08-06得票数 4
回答已采纳
2回答
我正在使用jceks文件解密我的密码，并且无法在纱线群集模式下读取加密密码。我尝试过不同的方法，比如--file /localpath/credentials.jceks#credentials.jceks--conf spark.hadoop.hadoop.security.credential.provider.path=jceks://
浏览 4提问于2019-08-26得票数 1
我正试图在Spark和Oracle以及Sqoop和Oracle之间建立一个安全的连接。经过我的研究，我已经找到了两个不同的选择，两种不同的设置。在使用spark.jdbc.b64password加密密码的情况下，将火花连接到甲骨文，此外，它已经用火花码解密，并在jdbc中使用。使用Hadoop凭据提供程序创建密码文件，并且在Sqoop中使用它连接到Oracle。
现在，将密码保存在两个不同的文件中似乎不是一个
浏览 0提问于2017-12-12得票数 1
我使用hadoop-credential api在jceks文件中配置了s3 key (访问密钥和秘密密钥)。hadoop凭据创建fs.s3a.access.key -provider -provider然后，我将使用直线打开到火花服务器的连接，并在连接字符串中传递jceks文件路径，如下所示：
直线"jdbc:hive2://hostname
浏览 3提问于2017-05-19得票数 1
2回答
我有一个spark (2.1.0)作业，它使用postgres jdbc驱动程序，如下所述：val jdbcURL = s"jdbc:postgresql://${config.pgHost(jdbcURL, tableName, connectionProperties)
我已经成功地从下载了jdbc驱动程序，并使用--jars postgresql-42.1.1.jar --driver-class-pa
浏览 7提问于2017-08-02得票数 0
我试图使用完全兼容s3 sdk/api的本地对象存储来运行一个简单的Apache (Cloudera)读取操作。但我似乎无法理解如何让Spark理解我正在尝试访问本地S3桶，而不是远程AWS/S3。pyspark2 --conf spark.hadoop.hadoop.security.credential.provider.path=jceks://hdfs/user/myusername/awskeyfile.jceks所以最后的电
浏览 0提问于2019-07-29得票数 0
1回答
在设置了集群并附加了笔记本之后，我可以在使用以下方法设置hadoop配置之后，使用spark.read.parquet("s3n://...")从存储桶中读取数据：使用SSH通过Putty.exe创建了EMR集群，我创建了hadoop凭据文件：
$ hadoop credential create fs.s3a.access.key -provider-provider jceks://hdfs&#
浏览 3提问于2020-05-19得票数 0
我正在尝试让spark集群使用带有微软JDBC驱动程序(v7.0.0)的JavaKerberos (即，我在连接字符串中指定integratedSecurity=true;authenticationScheme我使用以下命令将作业提交到集群(4节点YARN模式v2.3.0)：--jarsSQL 凭据，我可以让一切正常工作(但是，我需要在我的<em
浏览 154提问于2018-10-05得票数 1
回答已采纳
2回答
我使用spark-submit提交spark作业，并通过--jars标志指定要加载的Teradata JDBC驱动程序的最新版本(17.10.00.14)。日志确认JAR文件已成功添加。但是，在与Teradata建立连接时 ( option("url", url).此java.sql.SQLException由com.teradata.jd
浏览 136提问于2021-07-15得票数 0
回答已采纳
1回答
SparkSubmitOperator( application = '/path/to/app.py', conf = { '
浏览 3提问于2020-11-23得票数 0
回答已采纳
当使用sparkJDBCDataset通过JDBC连接加载表时，我总是遇到spark找不到我的驱动程序的错误。该驱动程序确实存在于机器上，其目录是在config/base下的spark.yml文件中指定的。_get_spark().read.jdbc(self._url, self._table, **self._load_args) 当我使用用spark.jars定义的SparkSession从Kedro
浏览 27提问于2020-03-19得票数 2
如何使用IntelliJ连接到本地postgresql数据库，使用spark并运行sql命令来操作表？我有很多关于版本冲突的问题，所以也有可能包含依赖关系吗？
浏览 1提问于2017-07-18得票数 3
在java.security文件中，可以指定keystore.type值。但是，这似乎改变了所有JVM实例的默认keystore类型。我只想在一个例子中改变它。目前，它被设置为"jks"，但我需要它是"jceks“。我试过-Djava.security.keystore.type=jceks，但这似乎不像我想做的那样。
怎么做才是对的？
浏览 0提问于2018-09-24得票数 0
回答已采纳
我已经将密钥和访问密钥作为文件存储在hdfs中，用于访问AWS。hadoop credential create fs.s3a.access.key -provider jceks://hdfs/user/dev/keys.jceks -value ****************
hadoop credential create fs.s3a.secret.key -provider jceks://hdfs/user/dev&#
浏览 5提问于2019-10-23得票数 1
1回答
在我的应用程序中，目前我正在使用jdbc连接字符串直接连接到蜂巢，如下所示-现在，我不想直接连接到蜂箱，我想将这个责任委托给Zookeeper
浏览 3提问于2017-05-15得票数 0
回答已采纳
sc = spark.sparkContextsqlContext = SQLContext(sc)
df = sqlContext.read.format("jdbc").options(url="jdbc:teradata://teradata-dns-sysa.fg.rbc.com",driver="com.teradata.jdbc.TeraDriver因此，寻找一种解决方案
浏览 1提问于2019-02-05得票数 0
10回答
因此，我一直在使用sbt和assembly将我的所有依赖项打包到一个jar中，用于我的spark作业。我有几个工作，我使用c3p0设置连接池信息，将其广播出去，然后在RDD上使用foreachPartition获取连接，并将数据插入到数据库中。在我的sbt构建脚本中，我包含了这确保了JDBC连接器与作业打包在一起。一切都很好。因此，最近我开始尝试使用
浏览 198提问于2015-04-10得票数 32
我已经启动了spark-thrift服务器，并使用beeline连接到了thrift服务器。在尝试查询时，在配置单元元存储中创建一个表时，我收到以下错误。org.apache.spark.sql.cassandra不是有效的Spark SQL数据源。10000:jdbc:hive2://本地主机:10000> select * from traveldata.employee_details； Error: org.apache.hive.service.cli.HiveSQLE
浏览 36提问于2021-05-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
