J_SECURITY_CHECK 是一种在Java安全认证与授权(JAAS)框架下执行的安全检查策略。Java安全认证与授权(JAAS)是一种帮助开发人员轻松地为Java应用程序提供访问控制与安全性的平台无关的技术。
推荐相关云产品和服务:
所有概念和配置也适用于其他应用程序。 Kerberos身份验证 迄今为止,Kerberos是我们在该领域中用于保护Kafka集群安全的最常用选项。...它使用户能够使用存储在Active Directory,RedHat IPA和FreeIPA等服务中的公司身份,从而简化了身份管理。...Kafka通过简单身份验证和安全层(SASL)框架实现Kerberos身份验证。SASL是身份验证框架,是RFC 4422定义的标准IETF协议。...属性 我通常不喜欢使用单独的JAAS配置文件,而更喜欢使用sasl.jaas.config Kafka属性为客户端设置JAAS配置。...为了使Kerberos身份验证正常工作,Kafka集群和客户端都必须具有与KDC的连接。 在公司环境中,这很容易实现,通常是这种情况。
内容概述 1.修改Kafka配置 2.配置客户端 3.客户端测试Producer和Consumer 测试环境 1.RedHat7.6 2.CM版本7.3.1和CDP版本7.1.4 3.采用root用户...3.配置客户端 1.创建jaas.conf文件 如果你先使用kinit初始化Kerberos账号,则jaas.conf配置文件内容如下: 1KafkaClient { 2 com.sun.security.auth.module.Krb5LoginModule... required 3 useTicketCache=true; 4}; 如果使用keytab文件初始化Kerberos账号,则jaas-keytab.conf配置文件内容如下: 1KafkaClient...client.properties文件,内容如下 1security.protocol=SASL_PLAINTEXT 2sasl.kerberos.service.name=kafka 4.客户端测试Producer和Consumer... KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas-keytab.conf" 如果使用jaas.conf文件设置环境变量则需要先使用kinit
# we can also specify the sasl config information instead of using the followign cinfig file 'kafka_jaas.conf...' listener.name.sasl_plaintext.plain.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule...set JAAS_OPTS=-Djava.security.auth.login.config=file:%~dp0../...../config/kafka_jaas.conf Modify the kafka-run-class.bat script to create java command with parameter %...% %JAAS_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %* Then start the zookeeper and kafka-server in different
kafka数据存放的路径 log.dirs=/home/xyp9x/kafka_sasl/kafka-logs #topic在当前broker上的分区个数 num.partitions=1 #用来恢复和清理...bigdata113:/etc/ rsync -r kafka_sasl bigdata112:`pwd` rsync -r kafka_sasl bigdata113:`pwd` 8)分别在112和113...username="admin" password="admin"; }; 2)在producer.properties和consumer.properties文件中设置认证协议 vi producer.properties...脚本中添加JAAS文件的路径 vi kafka-console-producer.sh #!....1.113:9092 --topic test --consumer.config config/consumer.properties 3.ACL操作(在配置好SASL后,启动Zookeeper集群和Kafka
https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1 文档编写目的 Fayson在前面的文章介绍了《如何在CDH集群安装Kafka Manager》和《...内容概述 1.Kafka-eagle配置 2.Kafka-eagle使用 3.总结 测试环境 1.CM和CDH版本为5.15.0 2.Kafka版本为0.10.2+kafka2.2.0 3.Kafka-eagle...既然要集成Kerberos环境下的Kafka,当然少不了Principal账号和keytab文件。...“sasl.kerberos.service.name”与jaas.conf文件中指定效果一致。...defined in either JAAS or Kafka config”错误。
登录续订 jaasLoginRenew=3600000 2.3、Zookeeper 配置JAAS文件 # 配置JAAS文件 cat > config/zookeeper_jaas.conf << EOF...配置文件 export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/local/kafka_2.12/config/zookeeper_<em>jaas</em>.conf...allow.everyone.if.no.acl.found=false # 需要开启设置超级管理员,设置admin用户为超级管理员 super.users=User:admin 3.3、Kafka 配置<em>JAAS</em>...文件 # 配置<em>JAAS</em>文件 cat > config/kafka_server_<em>jaas</em>.conf << EOF KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule...、Kafka 修改启动脚本 bin/kafka-server-start.sh # 编辑启动脚本 vim bin/kafka-server-start.sh 3.5、Kafka 增加如下内容 # 增加<em>JAAS</em>
内容概述 1.修改Kafka配置 2.配置客户端 3.客户端测试Producer和Consumer 测试环境 1.RedHat7.2 2.CM和CDH版本为5.11.2 3.采用sudo权限的ec2-user...3.配置客户端 ---- 1.创建jaas.conf文件 如果你先使用kinit初始化Kerberos账号,则jaas.conf配置文件内容如下: KafkaClient{ com.sun.security.auth.module.Krb5LoginModule..." 如果使用jaas.conf文件设置环境变量则需要先使用kinit初始化Kerberos账号。...本篇文章主要讲述了如何启用Kerberos身份认证及客户配置使用,那么在代码开发中如何向已启用Kerberos认证的Kafka集群中生产和消费数据,Fayson在接下来的文章会做详细讲述。...---- 推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。 [583bcqdp4x.gif] 原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
HANA数据到kafka • 非kerberos环境下,全量和增量拉取HANA数据到kafka 1.3 JAR包准备 需要准备两个jar包,SAP HANA的驱动和kafka-connect-sap项目打包...2.查看SAP HANA数据 3.Kafka启动一个控制台消费者查看拉取数据情况 # 准备一个kafka jaas文件和client.properties文件 export KAFKA_OPTS="-Djava.security.auth.login.config...=/opt/kafka-jaas/jaas-hive.conf" kafka-console-consumer --topic hana_test --from-beginning --bootstrap-server...hostname):9092 --consumer.config client.properties 4 DELETE和UPDATE测试 在kerberos环境补充测试delete和update情况。...的认证类型和jaas配置需要分别以conmuser.xxx和producer.xxx单独指定。
SASL_SSL:具有基于TLS的加密和基于SASL的身份验证的侦听器。...证书应在其通用名称或主题备用名称中具有其公告的地址和引导地址。...SASL认证 使用Java身份验证和授权服务(JAAS)配置SASL身份验证。JAAS还用于验证Kafka和ZooKeeper之间的连接。 JAAS使用其自己的配置文件。...Kafka中的SASL身份验证支持几种不同的机制: 普通 根据用户名和密码实施身份验证。用户名和密码以Kafka配置存储在本地。...GSSAPI 针对Kerberos服务器实施身份验证 通过JAAS配置文件配置SASL机制。Kafka使用名为Kafka服务器的JAAS上下文。
代码块部分可以左右滑动查看噢 1.文档编写目的 在前面的文章Fayson介绍了一些关于Spark2Streaming的示例如《Spark2Streaming读Kerberos环境的Kafka并写数据到HBase》和《...将fayson.keytab和jaas.conf文件拷贝至集群的所有节点统一的/data/disk1/0286-kafka-shell/conf目录下。...5.总结 1.在前面的文章Fayson也有介绍Java访问Kerberos环境的Kafka,需要使用到jaas.conf文件,这里的jaas.conf文件Fayson通过spark2-submit的方式指定...,注意我们的jaas.conf文件及keytab需要在集群的所有节点存在,因为Driver和Executor是随机在集群的节点上启动的。...2.同样在scala代码中访问Kafka是也一样需要添加Kerberos相关的配置security.protocol和sasl.kerberos.service.name参数。
写篇总结,把最近遇到的和kerberos相关的东西列一下。...JAAS是Java 认证和授权服务(Java Authentication and Authorization Service)的缩写,是PAM框架的Java实现。...JAAS的授权机制主要就是围绕着Subject和Principal。...关于JAAS比较详细的参考是这里:http://docs.oracle.com/javase/6/docs/technotes/guides/security/jaas/JAASRefGuide.html...JAAS之上。
kafka数据存放的路径 log.dirs=/home/xyp9x/kafka_scram/kafka-logs #topic在当前broker上的分区个数 num.partitions=1 #用来恢复和清理...rsync -r kafka_scram bigdata112:/home/xyp9x/ rsync -r kafka_scram bigdata113:/home/xyp9x/ 7)分别在 112 和...kafka_scram/bin/ rsync -r bin/kafka-server-start.sh bigdata113:/home/xyp9x/kafka_scram/bin/ 16、分别在 112 和...客户端配置 1、为 admin 用户创建一个 jaas 文件 vi kafka_client_jaas_admin.conf KafkaClient { org.apache.kafka.common.security.scram.ScramLoginModule...ACL 操作(在配置好 SASL 后,启动 Zookeeper 集群和 Kafka 集群之后,就可以使用 kafka-acls.sh 脚本来操作 ACL 机制) 1、创建普通用户 SCRAM 证书 bin
可以通过XFTP软件将war包放在/apache-tomcat-8.5.63/webapps目录下2.Tomcat默认端口为8080,若想修改,可以在/conf文件夹下编辑server.xml文件修改配置Jaas...按照以下步骤配置JAAS,以便在知行之桥中动态管理用户1.在/conf文件夹下创建一个JAAS配置文件,文件名为 jaas.config,文件内容如下:123ArcESB { arcesb.LoginModule...文件夹下找到catalina.properties文件并编辑,在文件内容最后新增如下内容:1java.security.auth.login.config=${catalina.base}/conf/jaas.config5...其中arcesb是webapps目录下war包的名称,注意注册用户名密码必须和之前tomcat-users.xml文件中的配置保持一致。...3.AppDirectory的默认位置是~/arcesb,若想修改,可以编辑配置Jaas步骤2中的arcesb.xml文件,增加Parameter节点,示例如下:<Parameter
Now let set the jass config file, Create a file 'kafka_jaas.conf' under the folder 'config' with the...// .bat script set JAAS_OPTS=-Djava.security.auth.login.config=file:%~dp0../...../config/kafka_jaas.conf // .sh script export JAAS_OPTS="-Djava.security.auth.login.config=file:$base_dir...% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% %JAAS_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %* // .sh script exec...$JAAS_OPTS -cp "$CLASSPATH" $KAFKA_OPTS "$@" Then start the zookeeper and kafka-server in different
Kafka 最近在 OpenStack 环境下需要部署消息队列集群,包括 RabbitMQ 和 Kafka,这篇记述一下 Kafka 集群的部署过程。...服务器配置 在进行 Kafka 和 zookeeper 集群配置之前要先做一些服务器的基础配置,主要是主机名的修改。...zookeeper 和 kafka 提供了两种安全验证机制:SSL 和 SASL,本文中使用的是 SASL,安全性上应该是 SSL 更好,不过 SASL 配置起来相对简单,所以暂时选用了 SASL。...jaas.conf 文件。...,设置用户名和密码。
Kerberos环境下使用JAVA通过JDBC访问Hive和Impala《如何使用java代码通过JDBC连接Hive》和《如何使用java代码通过JDBC连接Impala》,本篇文章Fayson主要介绍如何在...spark-jdbc-impala/conf/fayson.keytab" principal="fayson@FAYSON.COM" doNotPrompt=true; }; (可左右滑动) 将fayson.keytab和jaas-impala.conf...com.cloudera.jdbc * describe: Spark2使用JDBC方式访问Kerberos环境下的Impala * 该示例使用到的配置文件有0290-jdbc.properties和jaas-impala.conf...3.在提交Spark作业使用到的jaas-impala.conf和fayson.keytab文件需要在集群的所有节点存在,因为Spark的Executor是随机在集群的节点上运行。...推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。 原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
将fayson.keytab和jaas.conf文件拷贝至集群的所有节点统一的/data/disk1/0286-kafka-shell/conf目录下。 3....|| StringUtils.isEmpty(principal) || StringUtils.isEmpty(keytabFilePath)) { println("未配置Kafka和Kerberos...jaas.conf文件内容如下: ?...文件,这里的jaas.conf文件Fayson通过spark2-submit的方式指定,注意我们的jaas.conf文件及keytab需要在集群的所有节点存在,因为Driver和Executor是随机在集群的节点上启动的...3.同样在scala代码中访问Kafka是也一样需要添加Kerberos相关的配置security.protocol和sasl.kerberos.service.name参数。
SASL_PLAINTEXTsasl.mechanism.inter.broker.protocol=OAUTHBEARERsasl.enabled.mechanisms=OAUTHBEARER# Specify the JAAS...login context name for SASL/OAUTHBEARERlistener.name.sasl_plaintext.oauthbearer.sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule...folder for kafka-topic script to usesecurity.protocol=SASL_PLAINTEXTsasl.mechanism=OAUTHBEARERsasl.jaas.config...producer.properties the same as client.propertiessecurity.protocol=SASL_PLAINTEXTsasl.mechanism=OAUTHBEARERsasl.jaas.config
可以通过XFTP软件将war包放在/apache-tomcat-9.0.67/webapps目录下2.Tomcat默认端口为8080,若想修改,可以在/conf文件夹下编辑server.xml文件修改配置Jaas...按照以下步骤配置JAAS,以便在知行之桥中动态管理用户1.在/conf文件夹下创建一个JAAS配置文件,文件名为 jaas.config,文件内容如下:123Arc { arcesb.LoginModule...conf文件夹下找到catalina.properties文件并编辑,在文件内容最后新增如下内容:java.security.auth.login.config=${catalina.base}/conf/jaas.config5...3.AppDirectory的默认位置是~/cdata/arc,若想修改,可以编辑配置Jaas步骤2中的arc.xml文件,增加Parameter节点,示例如下:123456<Parameter...Connector on port 8443,在注释下方添加配置信息:其中keystoreFile为PFX证书文件路径,keystorePass为证书密码,这里需要注意HTTPS方式的默认端口是8443,可能会和jetty
Fayson介绍了一些关于SparkStreaming的示例《如何使用Spark Streaming读取HBase的数据并写入到HDFS》、《SparkStreaming读Kafka数据写HBase》和《...将fayson.keytab和jaas.conf文件拷贝至集群的所有节点统一的/data/disk1/0286-kafka-shell/conf目录下。...3.在前面的文章Fayson也有介绍Java访问Kerberos环境的Kafka,需要使用到jaas.conf文件,这里的jaas.conf文件Fayson通过spark2-submit的方式指定,注意我们的...jaas.conf文件及keytab需要在集群的所有节点存在,因为Driver和Executor是随机在集群的节点上启动的。...推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。 原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
领取专属 10元无门槛券
手把手带您无忧上云