SBT 是 Scala 的构建工具，全称是 Simple Build Tool， 类似 Maven 或 Gradle。 SBT 的野心很大，采用Scala编程语言本身编写配置文件，这使得它稍显另类，虽然增强了灵活性，但是对于初学者来说同时也增加了上手难度。另外由于SBT默认从国外下载依赖，导致第一次构建非常缓慢，使用体验非常糟糕！ 如果你是一名Scala初学者，本文希望帮你减轻一些第一次使用的痛苦。
问题导读 1.sbt在IntelliJ IDEA里面比较慢，该如何解决？ 2.如何在window里面更改阿里源？ 3.如何在Linux里更改源？ 上一篇spark开发环境详细教程1：Intel
网上有很多关于spark R的安装过程，但是按照那个过程总是出错。当然最常见的问题是：
本文介绍了如何利用 Spark 进行大数据分析，包括数据处理、数据挖掘、机器学习等方面的应用。通过介绍 Spark 的架构、数据处理流程、编程模型、性能优化等方面的内容，让读者对 Spark 有更深入的了解。同时，本文还提供了实践案例，让读者更好地理解 Spark 在实际项目中的应用。
https://github.com/claudemamo/kafka-web-console
Scala下载地址：https://www.scala-lang.org/download/
问题导读 1.IntelliJ IDEA是否可以直接创建Scala工程？ 2.IntelliJ IDEA安装，需要安装哪些软件？ 3.IntelliJ IDEA如何安装插件？ 各种开发环境的搭建，其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程，其实可以通过文本或则cmd即可。还有maven，sbt等。后来的发展过程中，为了更加方便我们编程，于是发展出来了，更高级的编程工具，Java有eclipse等工具，而Scala有IntelliJ IDEA.当然eclipse也可以写Scala代
首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下：
Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台
我们用IDEA创建Spark项目的时候，默认都是使用SBT作为构建工具的，那么SBT是个啥？
Spark快速入门指南 – Spark安装与基础使用 2016-01-15 (updated: 2016-03-07) 6309 29 Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。此外，Spark 提供了简单易用的 API，几行代码就能实现 WordCount。本教程主要参考官网快速入门教程，介绍了 Spark 的安装，Spar
安装SparkR颇费周折，网上看到的各种安装方法，其实最终测试都很不好用。可能是国内有些网站被屏蔽的关系吧。
有用过 sbt 开发项目的同学应该都有这样的体会，换个环境，sbt 经常会出现编译项目出错的情况，导入 IDEA 又各种报错，尤其是在 github 上找到一个 sbt 编译的项目，想 clone 下来导入 IDEA 中阅读源码，跑跑测试用例，debug 进去看看实现原理等等…
1. 安装 sbt 打开 terminal，检查 java 版本，安装 sbt： http://www.scala-sbt.org/release/docs/Installing-sbt-on-Mac.html $ java -version $ brew install sbt $ sbt about Getting org.scala-sbt sbt 0.13.16 ---- 2. 下载 jetbrains 的 community 版本, 安装 Scala plugin 打开 dmg 文件安装：
flink: https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials/local_setup.html
准备环境 安装JDK8 单击这里下载并安装JDK8，安装完成后在命令行查看Java的版本号： C:\Users\Lenovo>java -version java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) 如果上面的命令执行报错，请手动将路径"Java安装目录/bin"
SBT 一直以来都是 Scala 开发者不可言说的痛，最主要的原因就是官方文档维护质量较差，没有经过系统的、循序渐进式的整理，导致初学者入门门槛较高。虽然也有其它构建工具可以选择(例如 Mill)， 但是在短时间内基本上不可能撼动 SBT 的地位，毕竟它是 Scala 名正言顺的亲儿子。当然还有另外一个原因可能导致其它构建工具永远没有机会，Scala 语言以其卓越的编译器著称，编译器支持的丰富特性需要和构建工具进行无缝对接，例如 Scala 的 Macro 需要和构建工具的增量编译密切配合，在和编译器对接方面，SBT 具有先天优势。既然别无选择，只能选择默默忍受。下面分享在SBT使用过程中的一些常用技巧。
在Ubuntu 20上离线安装Joern，由于Joern通常需要通过互联网从其官方源或GitHub等地方下载，但在离线环境中，我们需要通过一些额外的步骤来准备和安装。（本人水平有限，希望得到大家的指正）
cmak在github上有已经编译好的安装包，我在JDK1.8环境中无法运行，于是才有了上一步的源码编译，我想使用JDK1.8编译，使得安装包可以在JDK1.8环境中运行，结果使用JDK1.8编译都编译不过，于是，只好老老实实的使用JDK11来安装cmak了。
实验环境建议使用jdk11，如果 java version 显示的是之前安装的其它版本jdk，可以切换到新安装的jdk11:
很多 Java web 应用和服务，包括开源的和商业化的（比如 Alfresco, iRise, Confluence等），都倾向于将 Apache Tomcat Servlet 引擎整个嵌入到他们的分发包中。Atlatisan公司甚至只支持他们自己提供的嵌入式Tomcat 包，不再提供 WAR/EAR 形式的分发包。这些安装包包含了整个 Tomcat 引擎和配置文件，看起来确实有点大材小用。在大多数配置中，默认的配置文件甚至从来不会变动。真的有办法可以在代码中启动 Tomcat 并且只需要 tomcat 的 jar 文件作为依赖么？在下面的教程中，我们将会对 Jetty （Jetty 是一个为此目的而设计的一种嵌入式 servlet 引擎）进行测试，同时还会展示如何将 Jetty 迁移到 Tomcat 。
http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop1.tgz
这篇文章是关于怎样将play 2.2.3的工程迁移到play 2.3.0 1、安装sbt 0.13.5，去官网下载sbt 0.13.5: http://www.scala-sbt.org/download.html，安装完之后， 修改工程下的project/build.properties文件。 修改sbt版本： sbt.version=0.13.5 2、升级scala到2.11.1（可选），由于play 2.3 同时支持 scala 2.10 和 scala 2.11所以，可以不用升级到2.11，
消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送；如果发送消息时接收者不可用，消息对列会保留消息，直到可以成功地传递它为止，当然，消息队列保存消息也是有期限的。
1.yum install sbt 2.如果不行，则 curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ sudo yum install sbt sbt 二进制文件发布到 Bintray，而Bintray 方便地提供了RPM资源库。你只需要将存储库添加到你的软件包管理器将检查的地方。 3.手动安装，目前官网提供的是可以直接运行的地址：http:/
sbt类似与maven, gradle的项目管理工具，主要用在scala，也可以用在java项目，本文介绍一下常用的使用命令和语法 安装 mac brew install sbt redhat¢os # remove old Bintray repo file sudo rm -f /etc/yum.repos.d/bintray-rpm.repo curl -L https://www.scala-sbt.org/sbt-rpm.repo > sbt-rpm.repo sudo mv sbt
SparkSQL context 在执行sql语句时，现在使用spark.sql()替换sqlContext.sal()
本文主要讲解Scala的并发（并行）编程，那么为什么题目概称geotrellis使用（六）呢，主要因为本系列讲解如何使用Geotrellis，具体前几篇博文已经介绍过了。我觉得干任何一件事情基础很重要，就像当年参加高考或者各种考试一样，老师都会强调基础，这是很有道理的。使用Geotrellis框架的基础就是Scala和Spark，所以本篇文章先来介绍一下Scala编程语言，同样要想搞明白Scala并发（并行）编程，Scala基础也很重要，没有Scala语言基础就谈不上Scala并发编程也就更谈不
目标 配置一个spark standalone集群 + akka + kafka + scala的开发环境。 创建一个基于spark的scala工程，并在spark standalone的集群环境中运行。 创建一个基于spark+akka的scala工程，并在spark standalone的集群环境中运行。 创建一个基于spark+kafka的scala工程，并在spark standalone的集群环境中运行。 集群框架图 本图主要是说明各个组件可以发布到不同的逻辑机器上。 image.png 本
Java -version确认已经切换版本成功，要不centos 7默认自带的是java8 java1.8.
本篇参考：pipeline_tutorial_hetero_sbt上一篇为：坑挺多 | 联邦学习FATE：上传数据（一），我们继续来看看这个教程里面的大坑。
本文介绍了如何使用 Spark 进行大数据处理，包括概述、架构、运行、集群、资源调度、数据存储、编程模型、性能优化、高级特性、应用案例等方面的内容。
开始学习spark ml了，都知道spark是继hadoop后的大数据利器，很多人都在使用spark的分布式并行来处理大数据。spark中也提供了机器学习的包，就是MLlib。
Dubbo 和Zookeeper 不是SpringCloud的东西，放在这里只是为了方便复习；
class表示module，Bundle相当于interface。用Reg()定义一个寄存器。具体如下：
最近，单位领导要求我研究一下geotrellis(GITHUB地址：https://github.com/geotrellis/geotrellis，官网http://geotrellis.io/)，于是我只能接受这个苦逼的任务。 官网中写到：GeoTrellis is a geographic data processing engine for high performance applications.可以看出这个框架主要是用来进行地理信息数据的高性能快速处理，当然是个很有用的东西，但是怎么学习之，是
ORACLE 官方文档中介绍 CATALOG 命令只能注册在磁盘中的备份片，在现在多数环境中备份时，备份集都是放到磁带库中，那么 CATALOG 命令真就不支持注册磁带库中的备份片？其实是支持的，MOS 也有相当的文档介绍。下面就在 11.2.0.3+NBU 7.1 的环境中来测试一下。
（一）什么是nodejs？ nodejs是一个是基于Chrome V8（C++编写）的JavaScript引擎，提供了JS运行时的执行环境，这一点有点类似于Java的JVM虚拟机。nodejs是一个事件驱动的，异步非阻塞的io模型，这使他更非常轻量级和高效。 （二）什么是npm？ npm是nodejs的包生态系统的管理器，它提供非常简洁的命令来管理在nodejs中的一些依赖库，这一点和centos中的yum或者java中的maven，gradle，scala的sbt的功能非常相似， 有了它，我们
在软件项目开发中，依赖项管理是至关重要的一环。sbt（Simple Build Tool）作为Scala领域最常用的构建工具之一，提供了便捷的依赖项管理机制，既支持托管依赖项，也支持非托管依赖项。sbt 使用 Apache Ivy 作为其依赖管理系统，支持 Maven 和 Ivy 依赖格式。本文将对sbt的依赖管理逻辑进行一些个人观点上概述，水平有限，还请见谅。
XGBoost是“Extreme Gradient Boosting”的缩写，是一种高效的机器学习算法，用于分类、回归和排序问题。它由陈天奇（Tianqi Chen）在2014年首次提出，并迅速在数据科学竞赛和工业界获得广泛应用。XGBoost基于梯度提升框架，但通过引入一系列优化来提升性能和效率。
在本文中将介绍 Scala 的 Play Web 开发框架。我们将会学习如何创建一个 Play 项目，使用开发工具生成我们的第一个项目以及实现自定义的功能，另外还将体验一下 Play 框架的测试能力。
说到网络框架，Ruby的Ruby on Rail和Python的Django都相当轻巧好用，但Java下的框架，则要沉重很多。有人因此质疑Java语言本身是否符合网络时代的需求。Java大神们对这一问
使用gRPC作为云平台和移动前端的连接方式，网络安全应该是必须考虑的一个重点。gRPC是支持ssl/tls安全通讯机制的。用了一个周末来研究具体使用方法，实际上是一个周末的挖坑填坑过程。把这次经历记录下来与各位分享。
Python的列表推倒器是美好的语法糖。所以使用列表推倒器简化了for循环的嵌套，更简洁。许多黑魔法都是用这个方法。
介绍和引入 最近初学NLP相关的深度学习，下了很多论文，数量一多，发现论文管理是个问题。 首先论文数目一多，必须要按类别放到子文件夹下。但是某一篇论文，往往有多个主题。比如说某论文使用word2vec给短文本分类，那这篇论文既可以放在word2vec的目录下，也可以放在短文本的目录下，也可以放在分类的目录下。当你有天想去看了，往往又忘了是放在哪个子目录下了。再比如说，你下载了一些论文，下载的时候你知道这些论文的重要性（引用次数或者对项目的重要性）和紧急性（比如你三天之内都要看完）。但是当你把它放在某个子目
笔者经常遇到一些无法优化的慢查询，面对这样的慢查询，笔者会将其进行预先计算存储到mongodb或者elasticsearch中。这个业务场景需要将mysql的binlog数据发送到kafka，然后订阅kafka并消费其中的binlog数据以实现实时加速查询。但是消费binlog就可能会有很多意外发生，比如mysql数据库发生死锁，或者消费发生并发问题，网络长时间阻塞，这些状况都会导致kafka消费发生阻塞，一旦发生阻塞，用户从mongodb或者elasticsearch中就会查询不到最新的mysql数据，所以笔者需要监控kafka中消息的消费情况，监控的方案有很多，笔者进行了整理，以便日后回顾。
作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢!
8.0官方文档： https://dev.mysql.com/doc/refman/8.0/en/information-schema-keywords-table.html
Spark的部署让人有点儿困惑，有些需要注意的事项，本来我已经装成功了YARN模式的，但是发现了一些问题，出现错误看日志信息，完全看不懂那个错误信息，所以才打算翻译Standalone的部署的文章
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
