ApacheSpark - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

R并行编程实战

《R并行编程实战》是一本构建大规模高效算法的综合性实用书籍，介绍各种并行技术，从R语言的并行版本lapply（）的简单应用到基于Hadoop和ApacheSpark框架的不错AWS云。

7272 0

大数据处理必备的十大工具！

10.ApacheSpark ApacheSpark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。

3.6K7 0

您找到你想要的搜索结果了吗？

是的

没有找到

在LinkedIn上搭建机器学习模型

· PhotonML: PhotonML是一个基于ApacheSPark的机器学习库。...虽然TensorFlow工作流在ApacheSPark这样的基础设施上得到了广泛的支持，但SEAR仍然被机器学习社区所忽略。

9290 0

实时股票预测的开源参考结构

Apache, Apache Hadoop, Hadoop, Apache Geode,Apache MADlib, Apache HAWQ, and ApacheSpark are either registered...Apache, Apache Hadoop, Hadoop, Apache Geode,Apache MADlib, Apache HAWQ, and ApacheSpark are either registered

1.2K8 0

【盘点】十大最受欢迎的开源大数据技术

方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括Scala(使用ApacheSpark)、Python(ApacheSpark)、SparkSQL、Hive、Markdown、Shell

1.9K9 0

荐读|掌握10到30种技术，只为创建一个大数据解决方案

根据最近的Databricks对ApacheSpark用户的调查，Spark到公共云的部署在过去一年中增长了10%，达到了总体部署的61%。

6377 0

2017年五大关键云趋势：容器、AI等

该平台使用机器学习和ApacheSpark自动化在IBMCloud上智能部署数据产品。此外，Google也在去年发布了一系列云计算服务。

7135 0

Facebook、亚马逊是如何构建超集群数据库的

以下是上述文章中数据架构的简化视图，其中显示：开源系统ApacheKafka，搜索服务器ElasticSearch，亚马逊云存储服务AWSS3，进行大数据处理的ApacheSpark，运行框架ApacheHadoop

1.6K5 0

Spark生态系统的顶级项目

这是Github的描述：spark-jobserver提供了一个RESTful接口，用于提交和管理ApacheSpark作业，jar和作业内容。

1.6K2 0

【最新】IBM 深度学习框架PowerAI，将训练时间从几周变成几小时

集成了 ApacheSpark 的 IBM Spectrum Conductor 集群虚拟化软件集成，轻松转换非结构化和结构化数据集，为其用于深度学习训练做准备。

1.1K7 0

基于大数据的天气分析与应用系统

欧美等发达国家的科研团队和气象机构，利用先进的分布式计算框架，如ApacheSpark，对海量气象数据进行高效处理与分析。

2311 0

【存储】2022 年的 4 个开源对象存储平台

使用ApacheSpark、Thread和Hive等框架的应用程序在本地运行，无需任何修改。Ozone建立在一个名为Hadoop分布式数据存储（HDD）的高可用复制块存储层上。

13.1K1 0

Palantir深度分析：4. “数据即代码”的版本控制

本文旨在详尽剖析Foundry平台实现这一功能的底层技术架构,特别是其如何利用ApacheSpark分布式计算引擎与自研的事务性文件系统(CustomTransactionalFileSystem),在不进行物理数据复制的情况下实现...架构层次核心组件功能描述版本控制中的角色语义层(SemanticLayer)Ontology,OMS定义对象、属性、链接管理业务逻辑模型的分支与合并计算层(ComputeLayer)ApacheSpark...ApacheSpark通过HadoopFileSystemAPI与存储层交互。标准的Spark任务会直接调用s3a://或hdfs://协议。

1971 0

《BigData赴美考察记》一：走进加州伯克利，带你了解真实的RISE实验室

曾主导研发了当今大数据计算领域最前沿的开源系统：ApacheSpark、ApacheMesos、以及Alluxio (又名“Tachyon”)。

1.2K6 0

「图型计算架构」GraphTech生态系统2019-第2部分：图形分析

GraphX于2014年推出，是在apachespark之上构建的用于并行计算的嵌入式图形处理框架。后来又引入了一些其他系统，例如信号/采集。

9902 0

【神兵利器】内网快速打点辅助工具

Druid √ 仅验证未授权访问 18 activemq √ 仅验证默认账户 20 couchdb √ 仅验证未授权访问 21 Hadoop-Administration √ 仅验证未授权访问 22 ApacheSpark

1.2K1 0

邮件系统的未来趋势：AI、机器学习与大数据分析的融合应用

这些数据处理过程依赖于大数据平台如ApacheSpark、Flink及日志收集系统如Kafka、Logstash等。

771 0

专访英特尔STO马子雅：开源BigDL，AI 民主化的一步妙棋

今年2月波士顿举行了 Spark 峰会，在大会开幕主题演讲上，斯坦福大学教授、ApacheSpark 创建者、Databricks CTO Matei Zaharia 高度评价了 BigDL；到目前为止...它提供了在 ApacheSpark 上丰富的深度学习功能（和现有框架如 Caffe 和 Torch 等功能一致），以帮助 Hadoop/Spark 成为一个统一的数据分析平台，为整个数据分析和机器学习过程

1.2K11 0

【赵渝强老师】基于Hudi的大数据湖仓一体架构

Hudi的高级性能优化，使分析工作负载更快的任何流行的查询引擎，包括ApacheSpark、Flink、Presto、Trino、Hive等。

1301 0

5种云计算所需的机器学习技能

Python是一种流行的编程语言，可以与批处理和流处理平台(如apachebeam)和分布式计算平台(如apachespark)一起使用。

1.3K1 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭