一名合格java开发的自我修养-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

一名合格java开发的自我修养

专栏成员

73

文章

76112

阅读量

19

订阅数

再也不担心写出臃肿的Flink流处理程序啦，发现一款将Flink与Spring生态完美融合的脚手架工程-懒松鼠Flink-Boot

spring spring boot 编程算法 java flink

还在为开发Flink流处理应用程序时无法像开发Spring Boot程序那么优雅的分层以及装配Bean而烦恼吗？

intsmaze-刘洋

2020-12-07

2.4K0

flink1.7自定义source实现

大数据编程算法 processing java

数据的来源是flink程序从中读取输入的地方。我们可以使用StreamExecutionEnvironment.addSource（sourceFunction）将源添加到程序中。 flink附带大量预先实现好的各种读取数据源的函数，也可以通过为非并行源去实现SourceFunction接口或者为并行源实现ParallelSourceFunction接口或扩展RichParallelSourceFunction来编写满足自己业务需要的定制源。

intsmaze-刘洋

2019-02-25

1.1K0

storm从入门到放弃(一)，storm介绍

Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理。

intsmaze-刘洋

2019-02-25

1K0

本人毕业设计系统附完整文档和项目代码

数据库 TDSQL MySQL 版 sql java

大四期间9月到11月写的毕业系统，仿照百度文库设计的，融合了session共享，nginx负载均衡，lucene全文检索，敏感词过滤算法，office文件转pdf并提供免下载在线预览功能，登录邮件通知等功能。页面都是趴的51CTO网站套用的。

intsmaze-刘洋

2019-02-25

1.9K0

hbase1.1.4集群搭建

hadoop xml 大数据 bash bash 指令

　　注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

intsmaze-刘洋

2019-02-25

4020

Linux之shell编程条件判断-if,while,for,case

编程算法 bash bash 指令

sh if.sh intsmaze nihao 通过执行脚本时，在脚本命令的后面传入参数。

intsmaze-刘洋

2019-02-25

1.3K0

Linux之shell编程函数使用

bash 指令 bash shell

linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。下面说说它的定义方法，以及调用需要注意那些事项。

intsmaze-刘洋

2019-02-25

5360

jdk1.8之线程中断

在Core Java中有这样一句话："没有任何语言方面的需求要求一个被中断的程序应该终止。中断一个线程只是为了引起该线程的注意，被中断线程可以决定如何应对中断 " 线程中断不会使线程立即退出，而是给线程发送一个通知，告知目标线程有人希望你退出。至于目标线程接收到通知后如何处理，则完全由目标线程自行决定。

intsmaze-刘洋

2019-01-28

5520

提取jedis源码的一致性hash代码作为通用工具类

一致性Hash算法是来解决热点问题，如果虚拟节点设置过小热点问题仍旧存在。关于一致性Hash算法的原理我就不说了，网上有很多人提供自己编写的一致性Hash算法的代码示例，我在跑网上的代码示例发现还是有热点问题。为此我翻阅了Jedis的ShardedJedis类的源码把它的一致性Hash算法提取出来，作为自己的一个工具类，以后自己工程开发中用起来也放心些，毕竟jedis的代码经受了大家的验证。

intsmaze-刘洋

2018-10-08

7900

JMX,Jstatd做好JVM应用上线的最后一层保障

我理解的监控分两种，一种是运维的监控-监控整个集群的各项资源的使用情况以及各个服务的存活情况，另一种是开发的监控-监控代码问题导致的线程死锁，OOM等，以及业务消息的历史可回溯。我是一名开放，这里主要讲讲我的心得，开发中的监控。如何减少开发人员不必要的加班。

intsmaze-刘洋

2018-10-08

1.7K0

银行--天气对用户消费行为的影响--地理位置营销模型

大数据微信 go http html

　　作为咨询行业的技术顾问，服务于各个银行等金融机构，基于用户的业务特点推出适合用户的解决方案。这个方案是最近一个月为某银行量身定做的营销方案，最后因为数据的问题被砍掉了。由此我想到，马云爸爸说的大数据是新的石油是正确的，但是我的解读是，并不是数据越多越好，而是数据的多样性越多越好，只有这样才能将各种各样的数据联系结合起来挖掘他们的价值，仅仅只有一方面大量的数据也难以挖掘出石油。

intsmaze-刘洋

2018-10-08

7460

如何遍历文件夹下上亿文件而不栈溢出

jvm http html 爬虫数据结构

序：一个文件夹下面有很多层的小文件，如何算出这个文件夹下面有多少文件？递归遍历，简单暴力，递归在一般情况确实是比较方便的解决方案，但是当文件夹深度多深，递归的反复调用会导致方法一直无法释放，造成jvm的栈溢出。那我们该怎么办？

intsmaze-刘洋

2018-10-08

5940

javaOOM该分析dump文件而不是看异常log日志原因

应用程序出现OOM异常，你是否仍然通过看日志的方式去排查问题（该方式定位解决问题是大概率的巧合而已）？正确的排查方案是进行dump文件分析，你知道为什么吗？

intsmaze-刘洋

2018-10-08

3.2K0

3.sparkSQL整合Hive

　　spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽略了Hive的版本。Spark SQL内部将Hive反编译至Hive 1.2.1版本，Spark SQL的内部操作(serdes, UDFs, UDAFs, etc)都调用Hive 1.2.1版本的class。

intsmaze-刘洋

2018-08-29

2.9K0

IT咨询顾问:group by与join引发的项目救火

我又一次进行了项目救火，这次的原因是group by与join胡乱的堆彻导致的整个业务系统审核流程发生严重的错误。基础的sql表关联，group by,子表都理不清。

intsmaze-刘洋

2018-08-29

4170

java使用Map做缓存你真的用对了吗？弱引用WeakHashMap了解一下

java 缓存 hashmap 云数据库 Redis®

序:使用java的Map做缓存，你是否考虑过容量导致的OOM问题，是否考虑命中率对性能的影响？？

intsmaze-刘洋

2018-08-29

2.8K0

Spark的误解-不仅spark是内存计算，hadoop也是内存计算

spark 缓存存储大数据 hadoop

市面上有一些初学者的误解，他们拿spark和hadoop比较时就会说，Spark是内存计算，内存计算是spark的特性。请问在计算机领域，mysql,redis,ssh框架等等他们不是内

intsmaze-刘洋

2018-08-29

1.4K1

TCP连接中time_wait在开发中的影响-搜人以鱼不如授之以渔

人工智能 html

　　根据TCP协议定义的3次握手断开连接规定,发起socket主动关闭的一方socket将进入TIME_WAIT状态,TIME_WAIT状态将持续2个MSL(Max Segment Lifetime),TIME_WAIT状态下的socket不能被回收使用. 具体现象是对于一个处理大量短连接的服务器,如果是由服务器主动关闭客户端的连接,将导致服务器端存在大量的处于TIME_WAIT状态的socket, 甚至比处于Established状态下的socket多的多,严重影响服务器的处理能力,甚至耗尽可用的socket,停止服务. TIME_WAIT是TCP协议用以保证被重新分配的socket不会受到之前残留的延迟重发报文影响的机制,是必要的逻辑保证。

intsmaze-刘洋

2018-08-29

1K0

如何遍历文件夹下上亿文件而不栈溢出

序：一个文件夹下面有很多层的小文件，如何算出这个文件夹下面有多少文件？递归遍历，简单暴力，递归在一般情况确实是比较方便的解决方案，但是当文件夹深度多深，递归的反复调用会导致方法一直无法释放，造成jvm的栈溢出。那我们该怎么办？

intsmaze-刘洋

2018-08-29

1K0

Linux之shell编程条件判断-if,while,for,case

linux shell html

原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/6675350.html

intsmaze-刘洋

2018-08-29

8140

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态