前面几篇讨论了关于gRPC方式的前后端连接集成方式。gRPC也是一个开放的标准，但讲到普及性就远远不及基于http/1.1协议的web-service了。特别是gRPC的前端编程还是有一定的门槛，所以作为一种开放的网络大平台还是必须考虑用web-service方式的集成。平台服务api可以有两样选择：一种是传统web-service方式，新的一种是rest api款式。rest api比较适合数据库表的crud操作。在2017年我曾经写了一系列博客介绍akka-http，这里就不再叙述它的细节了。这篇我们只聚焦在解决当前问题上。在POS控制平台例子里不会涉及到POST操作，应该全部是GET类型的，如：
前一段时间我们探讨了SDP的一个基于集群的综合数据平台解决方案，由多种数据库组成，包括：JDBC, Cassandra 及MongoDB。其中Cassandra和MongoDB属于分布式数据库，可以在集群中任何部署节点调用。而JDBC数据库则是非分布式的，无法部署在多个节点。假设我们把每种数据库的数据处理功能以微服务microservice形式提供出来的话，任何从其它集群节点对JDBC数据库微服务的调用都需要进行数据的序列化（serialization）。虽然Cassandra和MongoDB是分布式
在云计算的推动下，软件系统发展趋于平台化。云平台系统一般都是分布式的集群系统，采用大数据技术。在这方面akka提供了比较完整的开发技术支持。我在上一个系列有关CQRS的博客中按照实际应用的要求对akka的一些开发技术进行了介绍。CQRS模式着重操作流程控制，主要涉及交易数据的管理。那么，作为交易数据产生过程中发挥验证作用的一系列基础数据如用户信息、商品信息、支付类型信息等又应该怎样维护呢？首先基础数据也应该是在平台水平上的，但数据的采集、维护是在系统前端的，比如一些web界面。所以平台基础数据维护系统是一套前后台结合的系统。对于一个开放的平台系统来说，应该能够适应各式各样的前端系统。一般来讲，平台通过定义一套api与前端系统集成是通用的方法。这套api必须遵循行业标准，技术要普及通用，这样才能支持各种异类前端系统功能开发。在这些要求背景下，相对gRPC, GraphQL来说，REST风格的http集成模式能得到更多开发人员的接受。
该文介绍了如何利用Akka HTTP构建一个基于HTTP的分布式文件系统。主要包括了Akka HTTP的入门介绍、基于HTTP的文件上传和下载功能实现，以及如何使用Akka Stream来处理文件上传和下载中的流式数据。此外，还提供了一个基于HTTP的分布式文件系统的示例代码。
众所周知，Akka系统是基于Actor模式的分布式运算系统，非常适合构建大数据平台。所以，无可避免地会出现独立系统之间、与异类系统、与移动系统集成的需求。由于涉及到异类和移动系统，系统对接的方式必
该文介绍了如何使用Akka HTTP和Slick在Scala中实现基于HTTP的流式数据传输。通过使用Akka HTTP和Slick，可以方便地处理HTTP请求和响应，以及从数据库中获取数据并将其传输到客户端。该文还介绍了如何使用Akka流式处理技术来实现HTTP服务，并处理响应数据。
该文介绍了如何使用Akka HTTP和SSE实现服务端推送文件给客户端的功能。首先介绍了SSE的概念和Akka HTTP的SSE库，然后通过一个具体的应用场景和代码示例详细讲解了如何实现该功能。
在前面一篇讨论里我们介绍了通过http进行文件的交换。因为文件内容是以一堆bytes来表示的，而http消息的数据部分也是byte类型的，所以我们可以直接用Source[ByteString,_]
restapi作为前后端交互的枢纽：面对大批量的前端请求，需要确保回复的及时性。使用缓存是一项有效工具。我们可以把多数前端请求的回复response存入缓存，特别是一些需要大量计算才能获取的回复值，更可以大大提高后端的反应速度。值得庆幸的是akka-http已经提供了对缓存的支持，是基于java8 caffein的一套缓存操作工具包的。下面就介绍一下akka-http的caching。
当我们把Akka-http作为数据库数据交换工具时，数据是以Source[ROW,_]形式存放在Entity里的。很多时候除数据之外我们可能需要进行一些附加的信息传递如对数据的具体处理方式等。我
上期讨论过OAuth2, 是一种身份认证+资源授权使用模式。通过身份认证后发放授权凭证。用户凭授权凭证调用资源。这个凭证就是一种令牌，基本上是一段没什么意义的加密文，或者理解成密钥也可以。服务方通过这个令牌来获取用户身份信息，也就是说服务端必须维护一个已经获得身份验证的用户信息清单。研究了一下JWT，发现它本身可以携带加密后的一些信息包括用户信息，而这些信息又可以通过同样的加密算法解密恢复。也就是说服务端是可以直接对收到的JWT解密恢复用户信息，这样用起来就方便多了。还记着我们的POS例子里客户端必须构
关于grpc，在前面的scalaPB讨论里已经做了详细的介绍：google gRPC是一种全新的RPC框架，在开源前一直是google内部使用的集成工具。gRPC支持通过http/2实现protobuf格式数据交换。protobuf即protocol buffer，是google发明的一套全新的序列化传输协议serialization-protocol，是二进制编码binary-encoded的，相对java-object，XML，Json等在空间上占有优势，所以数据传输效率更高。由于gRPC支持http/2协议，可以实现双向通讯duplex-communication，解决了独立request/response交互模式在软件编程中的诸多局限。这是在系统集成编程方面相对akka-http占优的一个亮点。protobuf格式数据可以很方便的转换成 json格式数据，支持对外部系统的的开放协议数据交换。这也是一些人决定选择gRPC作为大型系统微服务集成开发工具的主要原因。更重要的是：用protobuf和gRPC进行client/server交互不涉及任何http对象包括httprequest,httpresponse，很容易上手使用，而且又有在google等大公司内部的成功使用经验，用起来会更加放心。
该文章介绍了在 AKKA 中，如何使用 Stream 进行高性能的 HTTP 文件上传/下载功能。首先，介绍了基于 Stream 的 HTTP 文件上传功能，它通过 chunk 进行小数据传输，能够充分利用网络带宽，提高上传速度。然后，介绍了基于 Stream 的 HTTP 文件下载功能，它通过将文件分块传输，能够充分利用网络带宽，提高下载速度。最后，总结了基于 Stream 的 HTTP 文件上传/下载功能在 AKKA 中的重要性，它能够提高系统的性能和可扩展性，同时能够降低系统的资源消耗，提高系统的效率。
该文介绍了如何利用Akka HTTP构建一个基于HTTP的RESTful API，该API使用Akka Streams来处理流式数据，并使用Akka HTTP来处理HTTP请求。同时，该文还介绍了如何使用Akka HTTP构建一个简单的Web服务器，并使用它来处理HTTP请求。
研究关于restapi的初衷是想搞一套通用的平台数据表维护http工具。前面谈过身份验证和使用权限、文件的上传下载，这次来到具体的数据库表维护。我们在这篇示范里设计一套通用的对平台每一个数据表的标准维护方式。http服务端数据表维护CRUD有几个标准的部分组成：Model,Repository,Route。我们先看看这几个类型的基类：
到现在，我们已经完成了POS平台和前端的网络集成。不过，还是那句话：平台系统的网络安全是至关重要的。前一篇博客里我们尝试实现了gRPC ssl/tls网络连接，但测试时用的证书如何产生始终没有搞清楚。现在akka-http开发的ws同样面临HTTPS的设置和使用问题。所以，特别抽出这篇博文讨论一下数字证书的问题。
Unmarshalling是Akka-http内把网上可传输格式的数据转变成程序高级结构话数据的过程，比如把Json数据转换成某个自定义类型的实例。按具体流程来说就是先把Json转换成可传输格式数
Akka-http的客户端Api应该是以HttpRequest操作为主轴的网上消息交换模式编程工具。我们知道：Akka-http是搭建在Akka-stream之上的。所以，Akka-http在客
Akka-http是一项系统集成工具。这主要依赖系统之间的数据交换功能。因为程序内数据表达形式与网上传输的数据格式是不相同的，所以需要对程序高级结构化的数据进行转换（marshalling or
原文地址：https://dzone.com/articles/building-microservices-with-akka-http-a-cdc-approa
上次对restapi开了个头，设计了一个包括了身份验证和使用权限的restful服务开发框架。这是一个通用框架，开发人员只要直接往里面加新功能就行了。虽然这次的restapi是围绕着数据库表的CRUD操作设计的，但文件类数据在服务端与客户端之间的交换其实也很常用，特别是多媒体类如图片等文件类型。那我们就试着设计一个文件交换服务功能然后看看能不能很方便的加入到restapi框架内。
上一篇讨论了SSL/TLS安全连接，主要是一套在通信层面的数据加密解决方案。但我们更需要一套方案来验证客户端。要把不能通过验证的网络请求过滤掉。
Flink1.13.6 MySQL5.7.27 JDK8 Hadoop3.1.4 集成环境Idea2020
针对目前大家对OOM的类型不太熟悉，那么来总结一下各种OOM出现的情况以及解决方法。把各种OOM的情况列出来，然后逐一进行代码编写复现和提供解决方法。
Scala是一种强大的语言，很快就成为许多开发人员的最爱。然而，语言只是一个起点 - 并非每个函数都将由语言核心覆盖。Scala还创建了一些厉害的框架。接下来看看Scala的4个强大框架以及其优点和缺点。请记住，框架的最佳选择总是应符合您特定项目的要求——因此，请酌情考虑我们的推荐，根据您自己的项目要求决定最适合您的项目。
在讨论lagom之前，先从遇到的需求开始介绍：现代企业的it系统变得越来越多元化、复杂化了。线上、线下各种系统必须用某种方式集成在一起。从各种it系统的基本共性分析：最明显的特征应该是后台数据库的角色了，起码，大家都需要使用数据。另外，每个系统都可能具备大量实时在线用户、海量数据特性，代表着对数据处理能力有极大的要求，预示系统只有通过分布式处理方式才能有效运行。
上篇我们讨论了Akka-http的文件交换。由于文件内容编码和传输线上数据表达型式皆为bytes，所以可以直接把文件内容存进HttpEntity中进行传递。那么对于在内存里自定义的高级数据类型则
如果您使用基于JVM的语言（Java、Kotlin、Scala等）已有一段时间，你可能已经注意到，从Java 11开始，Java运行时环境（JRE）不再有单独的发行版。由于这一决定，许多Java开发工具包（JDK）Docker镜像分发商（例如：OpenJDK、Amazon Correto等）不提供JRE作为单独的Docker镜像，使用这些镜像整体Docker镜像大小约为360MB，而实际应用程序Jar包大小约为26MB。在我看来，整个Docker镜像的大小太大了，应用减小它，以便为每个将使用该Docker镜像的人节省空间和网络带宽。现在，让我们看看如何大幅减小Docker镜像的大小。
前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。 在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。 本文的目标是写一个基于akka的scala工程，在一个spark standalone的集群环境中运行。 akka是什么？ akka的作用 akka的名字是action kernel的回文。根据官方定义：akka用于r
本文主要讲解Scala的并发（并行）编程，那么为什么题目概称geotrellis使用（六）呢，主要因为本系列讲解如何使用Geotrellis，具体前几篇博文已经介绍过了。我觉得干任何一件事情基础很重要，就像当年参加高考或者各种考试一样，老师都会强调基础，这是很有道理的。使用Geotrellis框架的基础就是Scala和Spark，所以本篇文章先来介绍一下Scala编程语言，同样要想搞明白Scala并发（并行）编程，Scala基础也很重要，没有Scala语言基础就谈不上Scala并发编程也就更谈不
今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyter notebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。
Servlet 运行在服务器上的 java 类； Servlet 容器为 javaWeb 应用提供运行时环境，负责管理 servlet 和 jsp 生命周期，以及管理他们的共享数据。 现在我们知道了 Servlet 是运行在服务器上的 Java 类，那么什么是服务器？我们平常最常用的服务器都有哪些呢？ 服务器是一种被动程序：只有当Internet上运行其他计算机中的浏览器发出的请求时，服务器才会响应； 最常用的Web服务器是Apache和Microsoft的Internet信息服务器。 对于现在大多
上面这段文字摘抄自 Akka 官网（akka.io），翻译成中文也就是：“Akka 是一个为 Java 和 Scala 构建高并发、分布式和弹性消息驱动应用程序的工具包”。而 Akka 具有的一切特性，其实都源自于一个用于处理并发计算问题的模型——Actor 模型。
Tomcat 7之无需JDK只需JRE与无需web.xm及J2SE 6.0之真实与谎言？
用 STS 创建 Maven 项目并不复杂，只是其中有一些坑在里面，我在解决这些坑的时候发现很多人都遇到了相同的问题，因此把创建的步骤记录在这里。所有的步骤不外乎就是一些套路，并没有什么复杂的地方，只是在被套路的时候，找解决方法真是很烦人的一件事情。毕竟不是什么大的技术问题，只是一个工具的使用，难道不闹心么？方便自己，也方便有需要的朋友。
再有两天就进入2018了,想想还是要准备一下明年的工作方向。回想当初开始学习函数式编程时的主要目的是想设计一套标准API給那些习惯了OOP方式开发商业应用软件的程序员们，使他们能用一种接近传统数据库软件编程的方式来实现多线程，并行运算，分布式的数据处理应用程序，前提是这种编程方式不需要对函数式编程语言、多线程软件编程以及集群环境下的分布式软件编程方式有很高的经验要求。前面试着发布了一个基于scalaz-stream-fs2的数据处理工具开源项目。该项目基本实现了多线程的数据库数据并行处理，能充分利用域内服务器的多核CPU环境以streaming，non-blocking方式提高数据处理效率。最近刚完成了对整个akka套装（suite）的了解，感觉akka是一套理想的分布式编程工具：一是actor模式提供了多种多线程编程方式，再就是akka-cluster能轻松地实现集群式的分布式编程，而集群环境变化只需要调整配置文件，无需改变代码。akka-stream是一套功能更加完整和强大的streaming工具库，那么如果以akka-stream为基础，设计一套能在集群环境里进行分布式多线程并行数据处理的开源编程工具应该可以是2018的首要任务。同样，用户还是能够按照他们熟悉的数据库应用编程方式轻松实现分布式多线程并行数据处理程序的开发。
右键 –> New –> Project –> 搜索Maven Project –> 设置存放位置 –> 选择项目类型为 maven-archetype-webapp –> 设置项目信息 Group ID 写 公司域名 如 cn.psvmc Artifact Id 写项目名 如MyDemo –> Finish
不使用Spring，怎样能在Listener启动的Thread中获取web目录，还真不完全确定。其实我觉得实际代码也很简单。 就是基于普通的listener，然后在listener中获取web目录并放到JRE全局变量中。 但使用Spring，就可以用一种比较优雅的方式来获取了。 在web.xml中的<web-app>节点内加入： <context-param> <param-name>webAppRootKey</param-name> <param-val
kafka-manager 工具目前改名为cmak,下载地址为：https://github.com/yahoo/CMAK/releases/tag/3.0.0.5 现在下载最新版本的cmak文件： cmak-3.0.0.5.zip 将该文件下载并放置到/opt/software目录。
该文章讲述了在技术社区中，从技术面试到工作交接的流程和注意事项。文章强调了技术社区的重要性，并描述了如何成为一名优秀的技术社区成员。
前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境，我们已经部署好了一个Spark的开发环境。 本文的目标是写一个Spark应用，并可以在集群中测试。 创建一个Scala的工程- SimpleAPP 建一个目录SimpleAPP mkdir SimpleAPP mkdir -p SimpleAPP/src/main/scala 建一个SimpleAPP/src/main/scala/SimpleApp.scala文件 这个程序会进行MapReduce计算，
前面我们完成了一个CQRS模式的数据采集（录入）平台。可以预见：数据的产生是在线下各式各样的终端系统中，包括web、桌面、移动终端。那么，为了实现一个完整的系统，必须把前端设备通过某种网络连接形式与数据采集平台集成为一体。有两种方式可以实现需要的网络连接：Restful-api, gRPC。由于gRPC支持http/2通讯协议，支持持久连接方式及双向数据流。所以对于POS设备这样的前端选择gRPC作为网络连接方式来实现实时的操作控制应该是正确的选择，毕竟采用恒久连接和双向数据流效率会高很多。gRPC是google公司的标准，基于protobuffer消息：一种二进制序列化数据交换机制。gRPC的优势在这里就不再细说，读者可以参考前面有关gRPC的讨论博文。
Scala是可伸缩语言(Scalable Language)的缩写，读作skah-lah， 于2004年1月20日发布了第一个公开版本。其实早在2001年，Martin Odersky就开始Scala的设计工作，Martin 是瑞士洛桑联邦理工大学（EPFL）计算机与通信科学学院的一名教授， Martin曾和Haskell 语言设计者之一 Philip Wadler合作，设计了一个原型系统GJ， 最终演变为 Java 泛型。Martin还曾受雇于 Sun 公司，编写了 javac 的参考编译器，这套系统后来
目录 前言 若干坑 总结 一、前言 近期干了一件事情，将geotrellis程序移植到CDH中（关于CDH，可以参考安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节），本以为这是件很简单的事情，没想到跟安装CDH一样却碰到了许多的坑，很多事情真的就是这样，我们不去亲自实践觉得都是简单的，当我们真正甩开膀子去干的时候却发现会遇到各种各样的问题，但是当我们将这些一个个解决的时候，你收获的将不仅是美好的结果，更是很多通过学习无法得到的东西，这应该就是古
许多人使用容器来包装他们的 Spring Boot 应用程序，而构建容器并不是一件简单的事情。这是针对 Spring Boot 应用程序开发人员的指南，容器对于开发人员来说并不总是一个好的抽象。它们迫使你去了解和思考低层次的问题。但是，有时可能会要求您创建或使用容器，因此了解构建块是值得的。在本指南中，我们旨在向您展示如果您面临需要创建自己的容器的前景，您可以做出的一些选择。
我无可救药地成为了Scala的超级粉丝。在我使用Scala开发项目以及编写框架后，它就仿佛凝聚成为一个巨大的黑洞，吸引力使我不得不飞向它，以至于开始背离Java。固然Java 8为Java阵营增添了一丝亮色，却是望眼欲穿，千呼万唤始出来。而Scala程序员，却早就在享受lambda、高阶函数、trait、隐式转换等带来的福利了。 Java像是一头史前巨兽，它在OO的方向上几乎走到了极致，硬将它拉入FP阵营，确乎有些强人所难了。而Scala则不，因为它的诞生就是OO与FP的混血儿——完美的基因融合。 “Obj
3.4 Spark通信机制 前面介绍过，Spark的部署模式可以分为local、standalone、Mesos、YARN等。 本节以Spark部署在standalone模式下为例，介绍Spark的通信机制（其他模式类似）。 3.4.1 分布式通信方式 先介绍分布式通信的几种基本方式。 1. RPC 远程过程调用协议（Remote Procedure Call Protocol, RPC）是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC假定某些传输协议的存在，如TCP或UD
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
