Scala中没有类似于flatYield的东西。
第一章 是什么 一 Scala 介绍 Scala是一门多范式, 类似java的编程语言 ，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。...特性/特质(类似java中interfaces 和 abstract结合) 将Java风格接口的灵活性与类的强大功能结合起来。有原则的多重继承。 模式匹配 类似switch语句。...* 4.Scala中的object相当于java中的单例，类似于Java中的工具类，Object中定义的所有属性和方法都是静态的，调用时直接使用对象名.属性|方法。...Trait(特征) 定义的方式与类类似，但它使用的关键字是 trait。...当Scala运行时，假设如果A类型变量调用了method()这个方法，发现A类型的变量没有method()方法，而B类型有此method()方法，会在作用域中寻找有没有隐式转换函数将A类型转换成B类型，
两个月前写的爬取妹子图网站图片的爬虫。大致功能如下： 1、将所以连接遍历出来，存到mongodb中，加上状态码 2、保存标题，图片地址到mongodb中 3、将图片下载到本地 ps:已经过去两个月了。...我不知道代码还能不能成功爬取完所有妹子图网站的图片。后期还会对这个项目进行优化。但是要先忙完手头上所有事情的前提下。。。 运行图： ?...运行后图: （下载好的数据是直接给了朋友的，他解压的然后截图给我的。我这么纯洁的人是不会看的！哼=-=） ? github地址 如果你有想要爬取的网站，请告诉我 我有时间就帮你哟！...**有没有一些好看的网址，比如动漫的都是妹子的图片，不能是暴力，不能是血腥，不能是黄色。当然啦你也得告诉我！ 想整理一些资源爬下来，然后分享出去哟！！！...** 有好的网址也一定要留言告诉我呀，别吝啬手头的资源哟！3Q啦 Tags: None Archives QR Code
\jdk1.8_64\bin\native2ascii.exe是JDK自带的转码工具 将中文转码为UTF8(\u6570\u636e\u5e93)命令格式： native2ascii -encoding... gb2312 before.properties after.properties 将转码后的字符转换回中文命令格式： native2ascii -reverse after.properties ...before.properties before.properties文件中是转码前的中文， after.properties就是转码后的utf-8格式。...实例： before.properties的内容： 你好世界 after.properties的内容： \ufffd\ufffd\u077f\ufffd
Flink问：虽然我提供了多种语言支持，有SQL，Java，Scala还有Python，但是每种语言都有自己的入口，用户很难多种语言混着用。...比如在sql-client中只能运行Sql，不能写UDF，在pyflink shell里，只能用python的udf，不能用scala和java的udf。有没有谁能帮我把这些语言全部打通。...Flink问：我的一个很大的使用场景是实时大屏，但是我一个人办不到，往往需要借助第三方存储，还需要前端开发，有没有谁能让用户不用写前端代码就实现实时大屏 Zeppelin答：我可以。...Flink问：好多初学者说要跑一个flink job实在是太难了，好多东西需要配置,还要学习各种命令行，有没有谁能让用户更容易得提交和管理Flink Job。 Zeppelin答：我可以。...FLINK_HOME 在interpret里设置FLINK_HOME，指向你的Flink，切记1.10.1 scala2.11版本 Kafka Connect Datagen 使用提供的
1.1 Kotlin的身世 写了许久 Java，有没有发现其实你写了太多冗余的代码？ 后来你体验了一下 Python，有没有觉得不写分号的感觉真是超级爽？...从外观上，乍一看还以为是 Scala，我曾经琢磨着把 Scala 作为我的下一门语言，不过想想用 Scala 来干嘛呢，我又不做大数据，而它又太复杂了o(╯□╰)o 用Kotlin创建一个数据类 ?...为了让大家印象深刻，我下面给出类似功能的 Java 的代码实现： ? 而你如果说希望在 Java 中也希望像下面这样拿到这个泛型参数的类型，是不可以的： ?...当然，与 Scala 相比，Kotlin 还是要保守一些的，下面给出一个 Scala 类似的例子，大家感受一下，这实际上也可以体现出 Kotlin 在增加 Java 的同时也尽量保持简单的设计哲学（大家都知道...还有一个恶心的东西就是 UI 线程和非 UI 线程的切换问题。
1、Hello, Kotlin 1.1 Kotlin的身世 写了许久 Java，有没有发现其实你写了太多冗余的代码？ 后来你体验了一下 Python，有没有觉得不写分号的感觉真是超级爽？...从外观上，乍一看还以为是 Scala，我曾经琢磨着把 Scala 作为我的下一门语言，不过想想用 Scala 来干嘛呢，我又不做大数据，而它又太复杂了o(╯□╰)o 用Kotlin创建一个数据类 ?...为了让大家印象深刻，我下面给出类似功能的 Java 的代码实现： ? 而你如果说希望在 Java 中也希望像下面这样拿到这个泛型参数的类型，是不可以的： ?...当然，与 Scala 相比，Kotlin 还是要保守一些的，下面给出一个 Scala 类似的例子，大家感受一下，这实际上也可以体现出 Kotlin 在增加 Java 的同时也尽量保持简单的设计哲学（大家都知道...还有一个恶心的东西就是 UI 线程和非 UI 线程的切换问题。
我们怎么看这些东西有没有跑起来呢？jps这个查看守护进程的东西就可以看到。 有没有别的办法呢？有，通过web ui来看，直观很多。...首先得安装Scala。我们去官网下载Scala的压缩包，scala-2.11.7.tgz这样的。 解压到一个文件夹，推荐在home下面建立一个tools文件夹，然后解压在里面。...export SCALA_HOME=/home/tools/scala export PATH=$SCALA_HOME/bin:$PATH 使用source ~/.bash_profile...然后在终端输入 scala -version，查看是否配置完成，然后输入scala即可以像python一样进行交互式编程了。 .../conf/spark-env.sh中加入 export SPARK_HOME=/home/vm/tools/spark export SCALA_HOME=/home/vm/tools/scala
语法处理上和Java类似，但是又不尽相同 Java异常处理回顾 try { // 可疑代码 int i = 0; int b =...的方式来处理异常 不管有没有异常捕获，都会执行finally, 因此通常可以在finally代码块中释放资源 可以有多个catch，分别捕获对应的异常，这时需要把范围小的异常类写在前面，把范围大的异常类写在后面...Scala的异常的工作机制和Java一样，但是Scala没有“checked(编译期)”异常，即Scala没有编译异常这个概念，异常都是在运行的时候捕获处理。...在Scala里，借用了模式匹配的思想来做异常的匹配，因此，在catch的代码里，是一系列case子句来匹配异常。...【前面案例可以看出这个特点, 模式匹配我们后面详解】，当匹配上后 => 有多条语句可以换行写，类似 java 的 switch case x: 代码块… 异常捕捉的机制与其他语言中一样，如果有异常发生
当你第一次翻开一本scala书籍，看到类似var (1,”1”)-元组这样的写法，就基本认为scala属于动态语言，但其实Scala跟Java一样是个强类型语言。...当你看到类似不同地点的下划线、一个变量没有定义就直接使用时，就开始怀疑自己的智商 在百度上搜索“scala 难 放弃 ”等类似字眼，内容很多。...scala语言是完全面向对象的，不像Java语言存在那种primitive的东西 scala语言没有运算符的概念，这些运算符都是对象（类）的方法 为了更好的支持领域专用语言（dsl），配合语言其他特征...甚至为一些东西进行命名的时候，都会发生困难。再加上scala语言的其他特征，会感觉一片混沌。...Scala 变量 var，val，变量定义，Any，AnyRef，AnyVal，自动转换，基本上根Java类似，不过有细节差别。
因为我赶时间，所以是选择使用sleep infinity代替了原来的镜像，手动进入这个容器内去执行代码，从而实现在k8s集群中发送流量的操作。之后看有没有时间继续完善。...我在思考有没有一种方式，能够将一个gatling程序传到k8s集群中，只需要通过网络端口向其上传配置文件、发送命令就可以调用指定的压力测试脚本。...我的实现思路需要用scala做一个简易的服务器，而网上的思路似乎有些不太一样。...Distributed load testing with Gatling and Kubernetes这个是用gatling docker kubernetes关键词搜索出来的文章，似乎和我的思路比较类似...不过有没有必要作出这个项目也是一个问题，毕竟gatling中仍然存在一些问题没有弄清楚，比如atOnceUser和constantUser等测试方式之间的选择等。
如果说三年前，Matlab、Scala、R、Java 还各有机会，局面尚且不清楚，那么三年之后，趋势已经非常明确了，特别是Facebook 开源了 PyTorch 之后，Python 作为 AI 时代头牌语言的位置基本确立...Python语言今后可能将是每个互联网人必备的编程技能。 然而编程这种东西 如果没有个优秀的老师教你 想要真正入门成长非常困难 终于有个编程课程让我眼前一亮 一边打游戏，一边学编程 What？...是不是猛的一听有点意思 其实真的是这么回事啦 ------- 一条正在努力学习编程的分割线 ------- www.pypypy.cn 看到这个域名有没有想入非非 一股py之气喷涌而出 网站用微信登陆之后...我们就能看到这样的关卡界面 没有我们平时学习的 一节课一节课的排列方式 这里全部是一关一关 学习的过程 非常类似于我们玩游戏做任务 每敲击一次 Enter 弹出一段对话 像极了文字冒险游戏 所有的内容...我们学习编程 非常重要的就是逻辑思维 在学习页面的右边 思维导图 分分钟帮你捋清楚各种关系 这个课程还开发了 一种类似于知乎的问答模式 不仅有专业的老师帮你解答 更有童鞋帮你解决问题 你也可以给其他小伙伴解答问题
---- 单例对象 Scala中没有static关键字，但是它支持静态 如果要定义静态的东西，统统定义到object中 语法： object xxx{ // 内容 } 反向理解，class中的东西...，类似于Java中的static成员变量 在单例对象中定义的方法，类似于Java中的static方法 object单例对象的构造代码可以直接写在花括号中 调用单例对象的方法，直接使用单例对象名.方法名，...一个class和object具有同样的名字。这个object称为伴生对象，这个class称为伴生类 实例1：使用scala重写上面的案例。...查看scala源代码： 答案就是：实现伴生对象的apply方法 伴生对象的apply方法用来快速地创建一个伴生类的对象。...而在Java中main方法是静态的，而在scala中没有静态方法。在scala中，这个main方法必须放在一个object中。
scala 语句 scala 语句默认就是一行，要是一行里面多行就用分号等隔开。 块表达式，指的是 {} 中的值，其中可以包含多条语句， 最后一个语句的值就是快表达式的值。...readLine 允许我们从控制带读取用户输入的数据，类似 Scanner 和 System.in 的作用。 循环 while do 循环使用和 Java 中一样。...for 循环不支持类似这种 for (int i = 0; i < n; i ++ ) 但是可以这个样子： var n = 10 for(i <- 1 to n )println(i + " ") 使用...j <- 1 to 9) if 守卫： for (i <- 1 to 10 if i % 2 == 0) print(i) for 推导式： for (i <- 10) yield i 推导式会将这个东西构造成集合...函数的变长参数 scala 中可能需要将函数定义的参数个数为可变的形式，此时需要使用变长参数。 要是有返回值一定要有 = 。
所以shapeless是用来在scala中进行type class处理和dependent type处理的框架。...三、The Type Astronaut's Guide to Shapeless简介 这本书是其官方指南，有没有中文版也不太清楚，借用一句话就是少一些功利主义，多一些不为什么的坚持。...第三章介绍用Generic派生自定义类型类实例，并创建一个将Scala中的数据编码为CSV格式的类型类，但该例子所用的技术可以扩展到许多情形。...介绍几个相关的ops类型类并用Nat建立我们自己的ScalaCheck（一个Scala测试框架）中的Arbitrary（随机数生成）类。...四、总结 不出意外，这应该是猴年的最后一篇博客，这篇文章说大一点，也为鸡年的奋斗开了一个头，希望接下来的人生能够扎扎实实静下心来干点事情、学点东西。
Scala是什么，能做什么？ Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。...Scala的基础语法 我整理了自己学习过程中感到有必要记录的东西，以防忘记 1. val 与 var Scala 有两种定义变量的方式：val和var。 当val定义好变量之后，无法更改变量的值。...类似于使用了Java的final来修饰变量。...这一点上 Scala 和 Kotlin 有些类似。 而且object不能提供构造器参数，也就是说object必须是无参的。 class的内容实在太大了，未来会单独写一篇笔记。 5....val声明的字段无法实现setter.png 总结 Scala 的语法跟 Kotlin 颇有相似之处，我是先学习了 Kotlin 再来学 Scala 的，所以对于 Scala 的语法毫无违和感。
、治理相关问题的讨论 我们就朝着这三个方面去准备，尽量的把这些知识融会贯通，变成自己能说的东西。...我们要学一门【java or scala语言】、要理解【hdfs&yarn】、练习【mapreduce or spark core】 都是为了更好的理解sql,理解sql背后的运行原理，调优原理，实际工作中很少会再去写代码实现一些逻辑了...hadoop(hdfs&yarn) —> sql本身的原理（hive/spark） —> 想要深入了解源码（java or scala语言） 比较推荐第二种学法，第二种学法之所以能行的通，是因为sql现在已经被抽象为一门通用语言了...能不能判断出自己写的逻辑有没有可能出现数据倾斜的地方？如果有会在哪一块？ 什么原因？有没有什么解决方案？ 3、再激进一点，对一个不是很复杂的sql，能不能判断出这个sql会shuffle多少次？...逼自己写几遍总结出来，不要边参考资料边写，凭自己的理解去写，写完后，再对着参考资料修改。 写作是思考的过程，能够锻炼组织语言的能力，把学到的东西变成自己的语言写出来。然后，再试着讲出来。
发现这些东西都是类似的，从处理逻辑到页面渲染；从 service 到 layout；配置的实现无非就是 XML，或者 annotation……我有种感觉，兴许已经跳不出这个思维圈子了？...就像 Groovy，我很喜欢它，但是有了 Scala 以后，我觉得兴许有一个要死掉（Groovy 创始人说，如果他早些知道 Scala 的话，就没有 Groovy 什么事了。...具体的报道请去 Google 上搜他的 blog）。 它的实现和带来的效果上看，有没有很有意思的思路，是值得借鉴和思考的？ 这是最难讲的一个问题。...要不然，对我而言就是不想深入的东西，了解了解也就罢了。 新技术学习的方式呢，我想说这么几点： 寻找切入点。...做出一个 HelloWorld 的例子，就是一个极好的回馈；理解某一项实现原理，联想到其它类似的实现，产生一种恍然大悟的感觉，也是一种回馈。
每一门的编程语言背后都代表着某一种特别的哲学，由这一哲学进而设计出属于这门程序语言的语法，Python和Scala也不例外。我们从变量的定义去一窥Python和Scala设计哲学的不同。...但是如果我们定义的a是val，我们再赋值a=2时，Scala会抛出错误。让我们再看看Python的变量，Python的变量都是Scala里的var，在它的生命周期都是可以被赋值的。...>>> a = 1 >>> a 1 >>> a = 2 >>> a 2 好的，我们不应该满足于简单的var和val，让我们再深入的看看Scala的变量还返回了什么有趣的东西。...首先先简单定义一个val的变量 scala> val a = 1 a: Int = 1 而它完整的定义a应该是这样的: scala> val a:Int = 1 a: Int = 1 前文也说过Scala...当然，虽然两者看起来类似，但是我们应该了解Scala的类型推断是在编译期处理的，而Python是在运行时检查类型，实际上是两种不同的处理技术，不能混为一谈。
其中最大的阻碍，有两点： 自己在编程方面的知识储备不够，太多的东西需要现学，有时候甚至意识不到自己该学 对scala的定位和认识不清楚，常常在错误的方向上努力直到最后撞墙，而一些重要的知识却总在回避，...导致学习过程特别的痛苦 所以我想把其中一些重要的东西记录下来，让和我一样正在学习scala的同学能多一些思考，少走一些弯路。...的确，Scala中有一些东西看起来的确很简单，只需要把scala编程>>或者Scala>>这样的书大概翻过一遍，就差不多能用了。...因为我们会发现，自己缺少了太多的背景知识，需要先补很多东西，甚至学一门别的函数式语言之后，才能回来学Scala。...也许很多情况下是这样，但是有时候不是，比如类似ORM这样的库。 在Java中，有hibernate或者跟它类似的，比如我最喜欢的 Ebean 。
当然，有人会说，这么多开源软件，一起集成起来好麻烦，大坑肯定不少，有没有一个通用的平台，可以包括类似Spark + YARN+ Kafka的大数据平台功能呢？...这也是我参与的一些小型数据分析项目也是选择Spark的原因。当然我觉得还有一些原因是Spark同时支持了Python, Java, Scala和R。这降低了很多程序员的参与门槛。...我参与的Spark项目中，开发语言主要是Java和Scala。Python没有选择是因为一些速度的原因和系统其它部分都是用Java写的。 ...好处是学到的东西用到生产环境可以无缝切换，但是坏处也很明显，Spark东西很多，在自己的单机上跑很吃内存，比较慢，而且MLlib的类库并不丰富，很多算法需要自己再去找类库。...但是R是一门相对封闭的语言，社区远远没有Python的活跃，而且对于程序员来说， R的那种语法让人难受。几年前，一般会认为R的机器学习比Python的好，但是现在Python已经将R远远甩在了后面。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
