一个方法只要是没有它的实现（没有等号或没有方法体），它就是抽象的，在子类中覆写或者覆写接口中的非抽象方法（方法有具体实现）要使用override关键字。
百度了一下说是版本不一致导致的。于是重新检查各个jar包，发现spark-sql-kafka的版本是2.2，而spark的版本是2.3，修改spark-sql-kafka的版本后，顺利执行。
问题导读 1.什么情况下调用apply方法？ 2.apply你认为有哪些作用？ 3.方法调用属于apply什么功能？ apply网上很多资料，但是总感觉总讲的不是很透彻。这里自己总结下：包括摘录及个人经验，希望可以加深大家的理解 什么情况下会调用apply方法 当遇到下面表达式时，apply方法会被调用：Object（参数1，参数2。。。。参数N） 通常这样一个方法返回的是伴生对象。 举例来说：Array对象定义了apply，我们可以用下面形式来数组 Array（"about”,"yun","
语法糖，又称为糖衣语法，指计算机语言中添加的某种语法，这种语法对语言的功能并没有影响，但是更方便程序员使用。通常来说可以增加程序的可读性，从而减少程度代码出错的机会。接下来就会介绍两个 Scala 中的语法糖。
转载请注明原创地址：http://www.cnblogs.com/dongxiao-yang/p/7600561.html
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
1：Spark的官方网址：http://spark.apache.org/ 1：Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。 2：Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hado
今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyter notebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。
现象 执行Spark Streaming Application时报错 15/07/09 11:26:55 INFO scheduler.JobGenerator: Stopping JobGenerator immediately 15/07/09 11:26:55 INFO util.RecurringTimer: Stopped timer for JobGenerator after time -1 15/07/09 11:26:55 INFO streaming.CheckpointWriter:
最后无奈。。就用原来的方法 创建软连接，加载数据，发现可以。。这我就不明白了。。。
scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组
调用Runtime.getRuntime.halt(1)直接暴力退出了. 可参考Kafka issue: Unclean leader election and "Halting because log truncation is not allowed"
可能是spark-shell --master yarn-client过时了，但是换成spark-shell --master yarn --deploy-mode client，依然报错。
这篇文章接上一篇spark submit读写hudi,上一篇spark submit写入hudi的数据这里打算通过spark sql来进行查询
在实时数仓的时候，遇到了 org.apache.kudu.client.NonRecoverableException，搞了好长时间，特此记录一下。
Scala 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作：unapply接受一个对象，然后从对象中提取值，提取的值通常是用来构造该对象的值。
使用object 单例对象名定义一个单例对象，可以用object作为工具类或者存放常量
在机器学习中，一般都会按照下面几个步骤：特征提取、数据预处理、特征选择、模型训练、检验优化。那么特征的选择就很关键了，一般模型最后效果的好坏往往都是跟特征的选择有关系的，因为模型本身的参数并没有太多优化的点，反而特征这边有时候多加一个或者少加一个，最终的结果都会差别很大。 在SparkMLlib中为我们提供了几种特征选择的方法，分别是VectorSlicer、RFormula和ChiSqSelector。 下面就介绍下这三个方法的使用,强烈推荐有时间的把参考的文献都阅读下，会有所收获！ VectorS
1：spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包
出现这个问题是因为Order类是嵌套内部类，由于不是public类型而导致出现了下面的异常：
Scala中有一个很有用的traits叫PartialFunction，我看了下别人的翻译叫做偏函数，但是我觉得部分函数更加确切。
1、启动kafka的时候，报错如下所示： 1 [2018-04-24 07:32:02,798] INFO zookeeper state changed (SyncConnected) (org.I0Itec.zkclient.ZkClient) 2 [2018-04-24 07:32:02,883] FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStar
本文主要解析一下遇到的一个kafka consumer offset lag不断增大的异常。
一、目录结构 二、build.gradle配置 group 'yjmyzz' version '1.0-SNAPSHOT' apply plugin: 'java' apply plugin: 's
根据Picrce的说法：“类型系统是一个可以根据代码段计算出来的值对它们进行分类，然后通过语法的手段来自动检测程序错误的系统。”
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具叫做 Kafka Manager。 这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。
Scala面向对象 1.面向对象概述 封装：属性方法封装到类中 继承：父类和子类直接的关系 多态：***** 父类引用指向子类对象 精髓所在，开发框架的基石 2.类的定义和使用 package com.gwf.scala.course04 object SimpleObjectApp { def main(args: Array[String]): Unit = { val person = new People() person.name = "Messi" println(person.name
该文介绍了如何使用Spark SQL读取Hive表中数据的方法。首先介绍了Spark SQL的基本概述，然后给出了一个示例代码，展示了如何读取Hive中的数据。在代码中，使用了Spark SQL的DataFrame API和SQL查询来读取数据。最后，给出了在代码中使用Hive配置文件的示例。
让人感到疑惑的是，SpringBoot居然没有对application.properties配置文件value末端作空格trim处理。
本文讨论了redis中一种频繁出现的错误及相应的解决方案。作者通过分析错误日志，发现是jedis连接池中连接超时的问题。为了解决此问题，作者采用了池化的概念，并设置了JedisPoolConfig中的timeout参数。通过这种方法，可以避免频繁出现连接超时的问题，保证程序的稳定运行。
之前写过一篇maven项目中java与scala如何混用，今天来看看gradle项目中如何达到同样的效果： 一、目录结构 基本上跟maven一样，tips:这一堆目录结构不用死记，后面会讲如何用gra
本课程源码共享于 https://github.com/tree1123/learning-scala
Scala语言是完全面向对象的语言，所以并没有静态的操作（即在Scala中没有静态的概念）。但是为了能够和Java语言交互（因为Java中有静态概念），就产生了一种特殊的对象来模拟类对象，该对象为单例对象。若单例对象名与类名一致，则称该单例对象这个类的伴生对象，这个类的所有“静态”内容都可以放置在它的伴生对象中声明。
层级1 ：Iterable指的是哪些能生成涌来访问集合中所有元素的Iterator的集合
编程的基本原则之一是 DRY(Don’t Repeat Yourself)，在Java、Scala还有其他语言中，通过导入包可以服用其他文件中的代码。
SpringBoot集成日志logback.groovy报错： Groovy classes are not available on the class path. ABORTING INITIALIZATION.
1：练习spark的时候，操作大概如我读取hdfs上面的文件，然后spark懒加载以后，我读取详细信息出现如下所示的错误，错误虽然不大，我感觉有必要记录一下，因为错误的起因是对命令的不熟悉造成的，错误如下所示： 1 scala> text.collect 2 java.net.ConnectException: Call From slaver1/192.168.19.128 to slaver1:8020 failed on connection exception: java.net.Conne
最经安装了Intellij IDEA后，导入之前开发的项目，运行买方法，一直都报同样的错误，还以为是idea的版本问题
对列表的任何操作不会影响本身的列表，列表一旦创建便不会发生改变，这会使得我们更好的推导数据的变化。作为一门Scalable的语言，Scala允许使用者也可以开发一个类似内置列表的数据结构。在这篇文章会简单的实现一个函数式双向队列，也以此来展示类型参数和如何做简单的信息隐藏。 Begin: 类型参数可以让我们编写泛型类和特质，例如列表就是泛型的，定义为List[T],它的实例可以为List[Int],List[String]等。作为双向队列的第一段代码输入：
涉及报错的源码在org.springframework.util.ResourceUtils
在利用Spark和Kafka处理数据时，有时会同时在maven pom中引入Spark和Kafka的相关依赖。但是当利用Spark SQL处理数据生成的DataSet/DataFrame进行collect或者show等操作时，抛出以下异常信息：
最近测试跟我说，某个应用消费不到交易的消息。登录到Kafka Broker看下了下日志，发现一直在报错：
collect是Spark RDD一个非常易用的action，通过collect可以轻易获得一个RDD当中所有的elements。当这些elements是String类型的时候，可以轻易将整个RDD转化成一个List<String>,简直不要太好用。 不过等一等，这么好用的action有一个弱点，它不适合size比较的element。举个例子来说吧。请看下面这段代码： ... ... JavaPairInputDStream<String, String> messages = KafkaUtils.cr
在之前的文章中我们简单的介绍过scala中的协变和逆变，我们使用+ 来表示协变类型；使用-表示逆变类型；非转化类型不需要添加标记。
1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示： 18/04/22 09:28:22 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch applic
序列是一门高级语言里都会具备的一种数据结构，Scala和Python也不例外。在不同的语言里，序列有着各种不同的别称以及增添了不同的功能，今天只关注Scala和Python基本的内置数据结构。Python要介绍的有两种，分别是列表和元组；Scala里的则是数组，列表和元组。不要被相同的名字糊弄了，Python和Scala的列表和元组虽然同名，但本质上是不一样的。
在日常开发中一定会遇到，spark将计算好的数据load到es中，供后端同学查询使用。下面介绍一下spark写es的方式。 使用scala进行演示，对应的java自己google了。
单例： object singleton { /** * 利用单例object： * 作为存放工具函数或者常量 * 高效共享单个不可变实例 * 单例模式协调 */ object ID { private var lastNumber = 0; def newUniqueId = { lastNumber += 1 lastNumber } } } 伴生 object associate { /**
在上一节我们介绍了Iteratee。它的功能是消耗从一些数据源推送过来的数据元素，不同的数据消耗方式代表了不同功能的Iteratee。所谓的数据源就是我们这节要讨论的Enumerator。En
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
