4、Cascading/Scalding Cascading是Twitter收购的一个公司技术，主要是提供数据管道的一些抽象接口，然后又推出了基于Cascading的Scala版本就叫Scalding...Coursera是用Scalding作为MapReduce的编程接口放在Amazon的EMR运行。
由于Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序，所以Scala可以和大数据相关的基于JVM的系统很好的集成，比如基于JVM类库的框架Scalding（Cascading）、...Summingbird（Scalding和Storm）、Scrunch（Crunch）、Flink（Java编写并有Scala的API），本身使用Scale开发的系统Spark、Kafka。...而大多数的Scala数据框架都能够把Scala数据集合API和抽象数据类型相统一，比如Scalding中的TypedPipe与Spark中的RDD都有相同的方法，包括map、flatMap、filter
4、ascading/Scalding Cascading是Twitter收购的一个公司技术，主要是提供数据管道的一些抽象接口，然后又推出了基于Cascading的Scala版本就叫Scalding...Coursera是用Scalding作为MapReduce的编程接口放在Amazon的EMR运行。
比较Cascading/Twitter Scalding： 1) 传统Map-reduce只能处理单一的流，而Dataflow可以构建整个pipeline，自动优化和调度，Dataflow乍一听感觉非常像...Hadoop上的Cascading(Java)/Scalding(Scala)。...Twitter Summingbird： 将批处理和流处理无缝连接的思想又听起来很像把Scalding和Strom无缝连接起来的twittersummingbird(Scala).
JDBC通用 解释器 Kylin 解释器 Lens 解释器 Livy 解释器 Markdown 解释器 Pig 解释器 PostgreSQL, HAWQ 解释器 Python 2＆3解释器 R 解释器 Scalding
数据分析/数据可视化 MLlib in Apache Spark—Spark 下的分布式机器学习库 Scalding —CAscading 的 Scala 接口 Summing Bird—用 Scalding...通用机器学习 Conjecture—Scalding 下可扩展的机器学习框架 brushfire—scalding 下的决策树工具。...ganitha —基于 scalding 的机器学习程序库 adam—使用 Apache Avro， Apache Spark 和 Parquet 的基因组处理引擎，有专用的文件格式，Apache 2
另外，我推荐使用Scalding，不要使用Hive或Pig。Scalding支持使用Scala语言来编写Hadoop任务链，隐藏了其下的MapReduce。 作者：chszs
Hadoop，Scalding，Hive，Impala，HDFS，zoolander，以及等等。我可能之前听说过Hadoop，但这些单词是什么意思我基本上是两眼一抹黑。...（不，它是一个分布式文件系统） Scalding使用Hadoop吗？（是） Hive使用Scalding吗？
如果我们看下 MapReduce/Cascading/Scalding 作业的相关指标就很容易发现：mapper 速度远低于预期。...目前，我们把这项优化用在 MapReduce、Cascading 和 Scalding 作业中。不过，经过初步评估，将其应用于 Spark 和 Spark SQL 的结果也非常令人鼓舞。
如果以类似于分布式集群的方式表示，实际上用到的接口会更小（像Scalding这样的一些项目实际上构建了这样的东西，代码看起来与Spark很相似）。...因此，从本质上讲，与纯粹的Hadoop相比，Spark的接口更小（将来可能会变得相似），但是Hadoop之上有很多项目（例如Twitter的Scalding），它们的表现力达到了类似的水平。
数据分析/数据可视化 MLlib in Apache Spark—Spark下的分布式机器学习库 Scalding —CAscading的Scala接口 Summing Bird—用Scalding 和...通用机器学习 Conjecture—Scalding下可扩展的机器学习框架 brushfire—scalding下的决策树工具。...ganitha —基于scalding的机器学习程序库 adam—使用Apache Avro, Apache Spark 和 Parquet的基因组处理引擎，有专用的文件格式，Apache 2软件许可。
另外，我推荐使用Scalding，不要使用Hive或Pig。Scalding支持使用Scala语言来编写Hadoop任务链，隐藏了其下的MapReduce。
为了处理这些源和平台中的这些类型的数据，Twitter 数据平台团队已经构建了内部工具，如用于批处理的 Scalding，用于流的 Heron，用于批处理和实时处理的名为 TimeSeries AggregatoR...我们构建了几个 Scalding 管道，用于对原始日志进行预处理，并且将其作为离线来源摄入到 Summingbird 平台中。实时组件来源是 Kafka 主题。
同时，Parquet和Thrift的组合使用还有另一个好处——方便Twitter Scalding框架的有效使用，它可以用作复杂的批处理。...下一个步骤则是“denormalization”：为了保持分析作业和查询的快速执行，我们经常会提前做join，在Scalding中，将新的数据集写入Thrift格式。...在许多情况下，这么做会导致嵌套结构模式，便于Scalding的处理以及Parquet的储存，然而却不便于Impala的查询。
GitHub主页：https://github.com/twitter/scalding Scalding是一个Scala库，简化了Hadoop MapReduce作业开发，基于Cascading构建...Scalding跟Pig类似，但提供更紧密的Scala集成。Scalding是用于Cascading的Scala API。
Cascading/Scalding：Cascading是Twitter收购的一个公司技术，主要是提供数据管道的一些抽象接口，然后又推出了基于Cascading的Scala版本就叫Scalding。...Coursera是用Scalding作为MapReduce的编程接口放在Amazon的EMR运行。...把上面的Storm跟Scalding结合起来，所谓Lambda Architecture。跟这个相关组件是Algebird： 利用一些概率算法HyperLogLog来提高计算速度。
Apache Kafka是为大数据而设计的新一代消息系统，它和Apache Samza（流处理框架）与Scalding（Cascading的ScalaAPI）一样，也是由Scala开发而成的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
