hadoop学习-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

hadoop学习

专栏成员

29

文章

32347

阅读量

15

订阅数

学习Hadoop大数据基础框架

大数据 hadoop 开源 mapreduce spark

什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感器网络数据量的不断加大，国内拥有的总数据量早已超出 ZB（1ZB=1024EB，1EB=1024PB）级别。

2018-11-14

5820

什么是自然语言处理技术

编程算法 NLP 服务神经网络深度学习

自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。

2018-11-14

6100

什么是大数据技术架构

开源大数据分布式数据分析搜索引擎

大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。

2018-11-14

1.5K0

hadoop需要哪些技术支持

hadoop mapreduce spark 大数据开源

hadoop是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。

2018-11-13

7390

web开发安全框架中的Apache Shiro的应用

编程算法 java xml spring hadoop

前阶段就hadoop的分享了一些内容，希望对新手入门的朋友有点帮助吧！对于hadoop新手入门的，还是比较推荐大快搜索的DKHadoop发行版，三节点标准版还是值得拥有的（三节点的标准版是可以免费下载的，与付费版的目前功能一样，只是节点数量不同，对于新手而言三节点的够用了）。正在学习hadoop可以下载一下研究学习之用，也可以留言向我索要！

2018-11-09

7390

大快搜索数据爬虫技术实例安装教学篇

爬虫 tomcat java jar

爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。

2018-11-05

6550

深度解析大快DKM大数据运维管理平台功能

hadoop 大数据自动化运维

之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享，有一些朋友留言索要了dkhadoop安装包，不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。

2018-11-02

1.3K0

DKhadoop安装包下载与监控参数说明

前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下，但好像大快搜索的服务器在更新，新的下载页面还不好用！有好些朋友留言说了大快搜索网站上无法下载。我已经将之前下载的这个版本上传到了网盘了，需要的DKhadoop安装包的朋友可以直接通过网盘下载！

2018-10-30

5620

标题：DKhadoop大数据处理平台监控数据介绍

spark yarn node.js 大数据

2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。

2018-10-30

8690

Hadoop新手篇：hadoop入门基础教程

关于hadoop的分享此前一直都是零零散散的想到什么就写什么，整体写的比较乱吧。最近可能还算好的吧，毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难，最烦的可能还是要给每一步配图，工程量确实比较大。

2018-10-29

9420

实用贴:hadoop系统下载安装教程

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程，本篇分享的是hadoop的下载安装步骤。

2018-10-29

8220

超详细hadoop集群服务器安装配置教程

虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明，hadoop安装会在下一篇文章中详细的介绍。

2018-10-27

2.3K0

Hadoop伪分布式环境搭建之Linux操作系统安装

hadoop 分布式 linux http .net

本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。（三节点的DKHadoop发行版可以自己去大快网站页面下载，目前是开放所有权限的，也就是免费版本和付费版本的权限一样，不知道以后会不会限制权限，至少目前是没有的）

2018-10-26

9770

超详细Dkhadoop虚拟机安装图文教程

前两天看到有人留言问在什么情况下需要部署hadoop，我给的回答也很简单，就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题，数据量少的完全发挥不了hadoop的优势，所以也没必要部署。但对于正在学习hadoop的朋友来说，hadoop运行环境部署真的是件非常头疼的事情。

2018-10-24

8910

hadoop集群管理系统搭建规划说明

分布式 hadoop 大数据存储编程算法

Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还蛮高的。

2018-10-24

8900

NLP汉语自然语言处理入门基础知识介绍

神经网络深度学习人工智能 NLP 服务

自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分（人工智能还包括计算机视觉等），但它是非常独特的一部分。这个星球上有许多生物拥有超过人类的视觉系统，但只有人类才拥有这么高级的语言。

2018-10-23

8620

hadoop最新发行稳定版：DKHadoop版本选择详解

hadoop sql mapreduce 分布式大数据

Hadoop对于从事互联网工作的朋友来说已经非常熟悉了，相信在我们身边有很多人正在转行从事hadoop开发的工作，理所当然也会有很多hadoop入门新手。Hadoop开发太过底层，技术难度远比我们想象的要大，对新手而言选择一个合适的hadoop版本就意味着上手更快！

2018-10-23

1.3K0

大数据hadoop入门之hadoop家族详解

hadoop mapreduce spark hive

大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说将是件多么美妙的事情！

2018-10-23

8300

SQL与NoSQL数据库入门基础知识详解

大数据开源 nosql sql hadoop

这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？

2018-10-23

6020

DKhadoop安装配置详细教程与常见问题解决方法

上周分别就DKHadoop的安装准备工作以及服务器操作系统配置写了两篇分享的文章，这是个人第一次尝试写一个系统性的分享文章，必然会有很多疏漏的地方，还望见谅吧。今天分享的是DKHadoop安装以及常见问题的解决方案方法介绍。

2018-10-19

3060

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态