前面一篇介绍了Java怎么去查看数据块的相关信息和怎么去查看文件系统。我们只要知道怎么去查看就行了！接下来我分享的是Hadoop的I/O操作。
要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream，将其以压缩格式写入底层的流。
Sqoop 作业的输出可以直接压缩。Sqoop 作业是一个MapReduce作业, 因此通过设置MapReduce压缩编解码器, 可以得到 Sqoop 的输出压缩。
1 压缩 一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据， 使数据占用的存储空间比较小，这个过程一般叫压缩。和压缩对应的概念是解压缩，就是将被压缩的数据从特殊编码方式还原为原始数据的过程。 压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者到磁盘上的传输速度。在Hadoop中，压缩应用于文件存储、Map阶段到Reduce阶段的数据交换（需要打开相关的选项）等情
前言 前面一篇介绍了Java怎么去查看数据块的相关信息和怎么去查看文件系统。我们只要知道怎么去查看就行了！接下来我分享的是Hadoop的I/O操作。 在Hadoop中为什么要去使用压缩（Com
提交job时指定如下参数： -D mapred.output.compress=true \ -D mapred.output.compression.codec=[CODEC] \ 其中[CODEC] 有如下几种： # gz压缩: -D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec # lzo压缩： -D mapred.output.compression.codec=com.hadoop.compres
DubboPackage定义了Header、Service、Body、Err属性；codec.go提供了Marshal、Unmarshal方法用于读写DubboPackage
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的,可以使用压缩来节省我们的MR处理的网络带宽。
Apache MINA(Multipurpose Infrastructure for Network Applications) 是 Apache 组织一个较新的项目，它为开发高性能和高可用性的网络应用程序提供了非常便利的框架。当前发行的 MINA 版本支持基于 Java NIO 技术的 TCP/UDP 应用程序开发、串口通讯程序（只在最新的预览版中提供），MINA 所支持的功能也在进一步的扩展中。目前正在使用 MINA 的软件包括有：Apache Directory Project、AsyncWeb、AMQP（Advanced Message Queuing Protocol）、RED5 Server（Macromedia Flash Media RTMP）、ObjectRADIUS、Openfire 等等。
今年年初的时候，阅读过《Maven实战》，当时有了解到Maven可以依赖调解，即当包版本不一致时，会根据一定规则选择相应的包来加载，从而避免冲突。当时不解的是既然Maven都能解决冲突，为何还经常听到“发生了依赖冲突”，冲突不是解决了吗，还存在什么问题呢？直到这周在工作中自己遇到了，就明白是咋回事了。下面先从我的实际经历说起。
using Apache Commons 需要引入org.apache.commons.codec.digest.DigestUtils这个包，pom.xml文件配置如下： <dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactId>
Java.lang.IllegalArgumentException: Odd number of characters. at org.apache.shiro.codec.Hex.decode(Hex.java:128) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.codec.Hex.decode(Hex.java:107) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.codec.Hex.decode(Hex.java:95) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.authc.credential.HashedCredentialsMatcher.getCredentials(HashedCredentialsMatcher.java:353) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.authc.credential.HashedCredentialsMatcher.doCredentialsMatch(HashedCredentialsMatcher.java:380) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.realm.AuthenticatingRealm.assertCredentialsMatch(AuthenticatingRealm.java:597) ~[shiro-core-1.3.2.jar:1.3.2]
压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否 可以支持切片。
HiveQL语句最终都将转换成为hadoop中的MapReduce job,而MapReduce job可以有对处理的数据进行压缩。
Base64是一种能将任意Binary资料用64种字元组合成字串的方法，而这个Binary资料和字串资料彼此之间是可以互相转换的，十分方便。在实际应用上，Base64除了能将Binary资料可视化之外，也常用来表示字串加密过后的内容。如果要使用Java 程式语言来实作Base64的编码与解码功能，可以参考本篇文章的作法。
Apache Mina是一个网络应用框架，简化用户开发高性能、高可扩展性的网络应用程序的难度。Mina提供了一个抽象的事件驱动的异步API，通过Java NIO实现各种传输协议如TCP/IP和UDP/IP。
在重要的生产网中，目标服务器无法外联，而遇到Apache Flink情况下如何写内存马，本文对这一有趣实践过程做了一个记录。
一波操作后，发现是依赖类不一致的问题，导致一个运行时异常，而dubbo handleException无法捕获这种自定义业务异常，所以报了这个错。
mina框架是对nio进行的一个封装，可用于java的网络编程，包括TCP/IP和UTP/IP编程，主要屏蔽了网络通信的一些细节，对socket进行封装，并且是用nio的一个实现框架，mina的主要类如下：
使用的Netty的版本：netty-4.0.23.Final.tar.bz2 ‐ 15-Aug-2014 (Stable, Recommended)
继续上一篇，这篇主要讲通过mina往B端发送消息。并接受消息，mina是一个网络通信框架，封装了javaNIO。简单易用。网上有非常多关于他的介绍，在此不赘述了。
其中XXXX的值不定，这类异常，有几种可能性存在，首先要了解一些kryo的基本原理： 当Kryo写出一个对象的实例时，首先可能需要写出一些标识对象类的东西。默认情况下，写入完整类名，然后写入该对象的字节。后续出现的同一类对象图的对象用变长的int来写（using a variable length int）。写类的名字有点低效，所以类可以事先注册：kryo.register(SomeClass.class);这样的话，SomeClass 注册到了 Kryo，它将该类与一个 int 型的 ID 相关联。当 Kryo 写出 SomeClass 的一个实例时，它会写出这个 int ID。这比写出类名更有效。在反序列化期间，注册的类必须具有序列化期间相同的 ID 。 还有一种情况是kryo每次写入类的完整信息，而不是通过int类型的ID号去代替。
配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题
对于数据密集型任务，I/O操作和网络数据传输需要花费相当长的时间才能完成。通过在 Hive 中启用压缩功能，我们可以提高 Hive 查询的性能，并节省 HDFS 集群上的存储空间。
正文开始前 ,先介绍几个概念 序列化 所谓序列化,是指将结构化对象转化为字节流,以便在网络上传输或写到磁盘进行永久存储。 反序列化 是指将字节流转回到结构化对象的逆过程 序列化在分布式数据处理的两个大领域经常出现:进程间通信和永久存储 在Hadoop中，系统中多个节点上进程间的通信是通过"远程过程调用"(remote procedure call,RPC)实现的 。RPC协议将消息序列化成二进制流后发送到远程节点，远程节点接着将二进制流反序列化为原始消息 Hadoop使用了自己写的序列化格式Writ
在hadoop中搭建lzo环境: wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz export CFLAGS=-m64 ./configure -enable-shared -prefix=/usr/local/hadoop/lzo/ make && make test && make install 在hadoop-env.sh中 export LD_LIBRARY_PATH=/usr/local/
3 使用Logstash采集、解析和转换数据 理解Logstash如何采集、解析并将各种格式和类型的数据转换成通用格式，然后被用来为不同的应用构建多样的分析系统 ---- 配置Logstash 输入插
加密工具类 import org.apache.commons.codec.digest.DigestUtils; import java.util.Random; /** * @author MashiroT */ public class Encrypt { public static String generateSalt(int length) { StringBuilder sb = new StringBuilder(length); Random
比如，我们到Apache网站上去下载用于操作Excel的依赖包 - Apache POI，就可以看到checksum：SHA-256， SHA-512,如下图所示：
在今天的这篇文章中，着重介绍 Logstash 在数据转换，分析，提取及核心操作方便的内容。首先，希望大家已经按照我之前的文章 “如何安装Elastic栈中的Logstash” 把 Logstash 安装好。
前言： 找了篇文章看了看，nio框架数Mina用的最多！ 代码： 服务端： package com.mina; import java.net.InetSocketAddress; import java.nio.charset.Charset; import org.apache.mina.core.service.IoAcceptor; import org.apache.mina.core.session.IdleStatus; import org.apache.mina.filte
以前经常有人问散仙，如何学好搜索？ 其实这个问题很具有代表性，你可以归纳为一类问题？ 其实，散仙在以前博客的中，也有总结过，回复微信后台回复关键词10查看。 本篇散仙要介绍的内容，是关于如何用Luke查看ElasticSearch的索引，那么为什么会写如此一篇文章呢？ 相信学过或了解过全文检索的朋友们，都知道，搜索的核心的就是倒排索引，之所以我们能够使用Google在互联网的海量的数据中，通过关键词快速定位到我们想要的数据，就是因为倒排索引在这里起了非常大的作用，在搜索中索引通常是不可见的，我
最近工作是开发FIDO UAF项目。FIDO UAF是一个旨在提供身份验证通用方案，以代替繁杂密码记忆的一个方案，Google，阿里这些大头都是核心成员，感觉是用来未来代替密码的1号方案。可能是定义的太通用了，UAF目前应用面还不广。
Java语言已经有许多非常成熟的开源基础类库，封装了日常开发中的各种常用操作，如：对象判空，字符串编码，本地缓存等等。 可以直接在项目中引入对应类库使用即可，或者参与完善相应类库的方法。 现将常用的基础类库整理如下，供使用参考。
1、FileOutputFormat设置 // 优化措施一：压缩MapReduce的输出结果-->使用Gzip压缩-->输出空间占比小 FileOutputFormat.setCompressOutput(job, true); //setOutputCompressorClass // 使用输出文件压缩，设置reduce输出的压缩算法：Gzip压缩 FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);
上次分析了客户端源码，这次分析mapper源码让大家对hadoop框架有更清晰的认识
在一些场景中，比如文件传输（如插件、固件升级包等），MD5 CheckSum的作用就是用于检查文件完整性，检测文件是否被恶意篡改。
Apache的Web Server会产生大量日志，当我们想要对这些日志检索分析。就需要先把这些日志导入到Elasticsearch中。此处，我们就可以使用Logstash来实现日志的采集
Flume是Cloudrea公司开源的一款优秀的日志收集框架，主要经历了两个大的版本，分别是 Flume-OG Flume-NG OG是0.9.x的版本，依赖zookeeper，角色职责不够单一
1,textFile A),第一点，就是输入格式，key，value类型及并行度的意义。 def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = withScope { assertNotStopped() //输入文件的格式TextInputFormat，key的类型LongWritable ，value的类型Text //最小分区数defaultMinPartition
Aeraki [Air-rah-ki] Mesh is an open-source service mesh I started about a year ago, and have been working on it till recently. Aeraki is the Greek word for ‘breeze’. While Istio connects microservices in a service mesh, Aeraki Mesh provides a non-intrusive, highly extendable way to allow Istio to support none-HTTP open-source and proprietary protocols. I hope this breeze can help Istio and service mesh sail a little further.
ELK官方的中文文档写的已经挺好了，为啥还要记录本文？因为我发现，我如果不写下来，过几天就忘记了，而再次捡起来必然还要经历资料查找筛选测试的过程。虽然这个过程很有意义，但并不总是有那么多时间去做。因此，接下来的内容仅仅是我根据查询到的资料，筛选，组装，测试后达到我的目标的一个过程。
1）hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。 2）将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/
model实现了Serializable 但是还是报错Cannot serialize; nested exception is org.springframework.core.serializer.support.SerializationFailed
Netty是目前最流行的由JBOSS提供的一个Java开源框架NIO框架，Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。
文章目录 1. MapReduce 作业流程 2. 实践 2.1 启动 hadoop 2.2 创建 java 项目 2.3 MapReduce shell 2.4 MapReduce Web UI 3. MapReduce 编程实践：统计对象中的某些属性 参考书：《Hadoop大数据原理与应用》 1. MapReduce 作业流程 📷 📷 2. 实践 2.1 启动 hadoop start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start h
Hive 建设离线数据仓库通常符合：一次写入，多次读取。所以需要我们在建表的时候选择恰当的存储格式和数据的压缩模式。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
