最近在做日志采集的时候,发现kibana请求elasticsearch频繁超时,导致日志用kibana展示非常之慢,当时想到了是不是elasticsearch内存过小,后面提高了elasticsearch的内存,确实查询速度变快了。在kibana展示的日志信息,看到eureka服务端有个错误的日志信息一直在疯狂输出。这个日志信息如下
1. 场景:启动一个需要注册到 eureka 注册中心的服务 seeParam 报错:
因为没有客户端注册,所以Instances currently registered with Eureka下面都是空的
入门文章请看我之前整理的博客: Spring Cloud【Finchley】-19Spring Cloud Config之Config Server和Config Client
最近在进行重构一个新项目,为了后续更好的落地,适应于日新月异的技术更新,进行了各方的技术选型及技术预研,最终选型基于微服务架构体系进行开发重构。项目构建前最重要的一步就是要想清楚,整体的部署架构、高可用性(HA)等等,做好前期的部署架构技术调研,确定最终方案。
java.net.ConnectException: Call From node4/192.168.179.143 to node4:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
这个是查询资源文件报错 scala.io.Source.fromInputStream 读资源,里面涉及到隐式import Codes._,这个有个隐患,去找隐式值,当前环境一直没找对,把源码改下,重新编译通过了。
1、问题 需要查看错误日志 [root@node1 ~]# cd /opt/kylin-2.3.1/logs/ [root@node1 logs]# ll total 1664 -rw-r--r-- 1 root root 16674 May 30 08:18 kylin.gc.20356.0.current -rw-r--r-- 1 root root 6801 May 29 09:22 kylin.gc.31042.0.current -rw-r--r-- 1 root root 1
apollo是一个非常流行的开源的配置中心项目,这里就不多介绍了。接触过apollo和运行过apollo的人肯定都遇到过启动configService时抛异常了,而且100%会抛一个异常。原因是,在apollo的架构中configService既作为config服务,同时也承载了metaService的功能,所以这个模块,既作为eureka的服务端也是eureka的客户端,这就造成了应用启动时,eurekaServer未完全启动,eurekaClient拉取注册表信息时就抛异常了。不过这个拉取动作是在独立的线程中运行的,独立于启动应用的主线程,所以异常并不影响应用的启动,这个问题也就一直从开源到留到了现在。目前,这个问题已被博主解决,正在合并pr中。
前几天对Apollo配置中心的demo进行一个部署试用,现公司已决定使用,这两天进行分布式部署的时候,每一步都踩着坑过来的。因此写文档与需要的朋友分享。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
对于配置了HA模式的RM或者NN,客户端如果向standby的节点发送请求,会因为不可连接或standby拒绝提供服务导致请求失败,转而向Active的节点发送请求,这个转换是hadoop客户端内部自动完成的,无须上层业务感知(本质上是向其中一个节点发送请求,如果失败则继续向另外一个节点发送请求)。
1、假设写错了host (如:factory.setHost(“locathost”); )报错:
1、嗯,问题呢,就是一开始安装好RabbitMQ,练习了一下RabbitMQ的使用,但是呢,过了一段时间,我来复习的时候,发现运行出现下面的错误了。后来想想,是自己学习微服务的时候,修改了/etc/h
1、虽然,不是大错,还说要贴一下,由于我运行run-example streaming.NetworkWordCount localhost 9999的测试案例,出现的错误,第一感觉就是Spark没有启动导致的: 1 18/04/23 03:21:58 ERROR SparkContext: Error initializing SparkContext. 2 java.net.ConnectException: Call From slaver1/192.168.19.131 to slaver1
1、启动kafka的脚本程序报如下所示的错误: 1 [hadoop@slaver1 script_hadoop]$ kafka-start.sh 2 start kafkaServer... 3 [2018-05-22 09:29:08,783] INFO Verifying properties (kafka.utils.VerifiableProperties) 4 [2018-05-22 09:29:08,942] INFO Property broker.id is overridden
Jersey 是开源的 RESTful 框架,实现了 JAX-RS 规范,提供了更多的特性和工具, 可以进一步地简化 RESTful service 和 client 开发,与 Struts 类似,它同样可以和 Hibernate、Spring 框架整合。此处使用它实现文件上传功能。
这一个月我都干了些什么…… 工作上,还是一如既往的写bug并不亦乐乎的修bug。学习上,最近看了一些非专业书籍,时常在公众号(JackieZheng)上写点小感悟,我刚稍稍瞄了下,最近五篇居然都跟技术无关,看来我与本行业已经是渐行渐远了。 所以,趁着这篇博客,重拾自己,认清自己,要时刻谨记我是一名码农。不过,摸着良心说,最近的技术方面也是有所感悟和积累的,比如如何写好设计文档,如何使用延时队列,如何使用防刷技术等等。当然了,今天我们还是沿着“学习Spark”这条路继续走下去。 上篇主要介绍了在Mac下如
尝试往redis写数据的时候,报不能获取连接异常,跟踪了半天代码,发现连接的是127.0.0.1,而不是配置的192.168.1.8,这就奇怪了,继续跟踪代码发现是往redis服务器获取的返回的集群实例列表,真是坑!
在对ResourceManager做了基于Zookeeper的HA后, 在YARN集群上执行Spark application后, 打开Spark Application Tracking UI显示以下错误:
更改了hadoop的配置文件:core-site.xml 和 mapred-site.xml 之后,重启hadoop 和 hbase 之后,发现hbase日志中抛出了如下异常:
正文之前 作为一个以后肯定要做大数据的人,至今还没玩过Java 和 Hadoop 会不会被老师打死?所以就想着,在我的国外的云主机上搭建个Hadoop ,以后在 dell 电脑的ubuntu系统下也搭
当一个JMeter客户端因网络限制等因素,无法模拟足够的用户对服务器施压时,需要用到JMeter分布式测试:用一台控制机,控制多台远程负载机,同时对服务器施压。
最近测试环境基于shc[https://github.com/hortonworks-spark/shc]的hbase-connector总是异常连接不到zookeeper,看下报错日志: 18/06/20 10:45:02 INFO RecoverableZooKeeper: Process identifier=hconnection-0x5175ab05 connecting to ZooKeeper ensemble=localhost:2181 18/06/20 10:45:02 INFO Rec
call.setOperationName(new QName("http://com.boco.esb.receive", "example"));
1:练习spark的时候,操作大概如我读取hdfs上面的文件,然后spark懒加载以后,我读取详细信息出现如下所示的错误,错误虽然不大,我感觉有必要记录一下,因为错误的起因是对命令的不熟悉造成的,错误如下所示: 1 scala> text.collect 2 java.net.ConnectException: Call From slaver1/192.168.19.128 to slaver1:8020 failed on connection exception: java.net.Conne
1)端口号被占用:杀死占用端口号(一般为8080)的进程,释放端口;彻底关闭 Tomcat 服务器,或者重新启动项目。
上述问题解决:开启historyserver服务 mr-jobhistory-daemon.sh start historyserver
redis是一个开源的,先进的 key-value 存储可用于构建高性能的存储解决方案。它支持数据结构有字符串,哈希,列表,集合,带有范围查询的排序集,位图,超文本和具有半径查询的地理空间索引。 NoSQL,Not Only [SQL],泛指非关系型的数据库。所以redis是一种nosql。敲黑板画重点:redis是一种nosql.
1. springcloud 工程中 config-client 中使用到 RabbitMQ ,启动工程报错:
直到我看见了 服务提供方的报错 一下子我就明白了 我数据库服务没开!!!!!!!!!!! 这里只是想分享以下踩坑经验 希望大家不要像我一样粗心
下载地址:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/
java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:567) at org.apache.zookeeper.ClientCnxn$Se
原因:端口号冲突 解决: (1)方法一 使用命令netstat -ano找到占据端口8005的进程号,再用命令taskkill /pid xxxx杀死对应进程xxxx。 (2)方法二 打开任务管理器,看看开发工具eclipse下是否启动了两个相同进程,直接结束进程,重启eclipse和项目。 (3)方法三 修改Tomcat配置文件server.xml中的端口号。 修改8080端口为其它端口号。
现在的App都不安分,Java层去和Native挤眉弄眼,Native层又喜欢和Jave去暗通款曲。
最新版下载地址:http://ftp.wayne.edu/apache/sqoop/1.4.6/
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。
============================================================
在搭建 HDFS 高可用集群的过程中,执行 hdfs namenode -bootstrapStandby 进行同步的时候出现报错:
14/04/07 15:33:21 INFO hive.metastore: Waiting 1 seconds before next connection attempt. 14/04/07 15:33:22 INFO hive.metastore: Trying to connect to metastore with URI thrift://127.0.0.1:9083 14/04/07 15:33:22 WARN hive.metastore: Failed to connect to the
第一种:把ip地址:127.0.0.1或者localhost替换成10.0.2.2,重新启动,确认是否能正常调用
领取专属 10元无门槛券
手把手带您无忧上云