首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

hadoop默认对3个副本的存储策略和执行策略:「建议收藏」

1,首先要先了解下什么是rack(机架)集群,一个集群有多个机架,一个机架有多个机器,一个机器一个datanode或namenode节点。通常一个机架内的机器之间的网络速度会高于跨机架机器之间的网络速度。 2,但是要同时保持副本存储策略的容错性和高效性,第一副本:放置在上传文件的DN上(就是执行‘hadoop fs -put 文件名’上传文件命令的机器上,本地文件上传到同一台机器自然要快一点),如果是集群外提交,则随机挑选一台;第二副本:放置在第一副本不同机架的不同节点上;第三副本,放置在第二副本相同机架的不同节点上;其他更多副本:随机放置在节点中。 3,在高效性方面,一个大文件被分成多个分片,也就是多个map任务分别在多个datanode节点上处理,这里就牵扯到任务粒度。如果有m个map任务,不一定会在m个datanode 节点上并行运行。因为可能存在一个datanode上有多个分片\数据块\map任务,所以应该准确的说m个map任务在n个datanode节点上并行运行(注意是并行运行,这样同时处理才会快)。 4,本地计算,在2中也存在野种思想,就是把在哪天DN上传的文件就把次DN作为第一副本;再者就是数据存储在那台机器就由哪台机器负责进行这部分数据的计算,这样可以减少数据在网络上的传输,数据在哪里我就在哪里计算,做到不移动数据,在业界把这形容为“移动计算比移动数据更经济”。

01

细数国内外前端大牛的知乎与博客(转)

简介: 目前阿里p7,70后,英文名Frank。 他原是上海财经大学世界经济博士研究生。主要研究宏观金融、货币政策与美国经济。于2008年6月获得博士学位。目前在上海一所当地大学(上海金融学院 国际经贸学院)任教。他本人也是一名ITa技术人员,主要关注网站制作,并且对自由软件有着坚定不移的信念。 除了写博客以外,他还有三个网站:微趣、Italo Calvino in China和读书公园。 曾经写过es6入门,软件随想录等书籍。并在个人站点以及github账号中积极布道,为广大的程序员尤其前端提供了很好的入门以及进阶的教程。 相关链接: 阮一峰博客 :http://www.ruanyifeng.com/blog/ github地址: https://github.com/ruanyf

02

做技术到底可以做到哪种地步-技术为什么越走越窄

尽管做技术已经有不少年头了,不管是犹犹豫豫还是坚定不移,我们走到了现在,依然走在技术这条路上。 不管我们处于何种职位,拿着哪种薪水,其实,我们会是不是的问问自己“做技术到底可以做到那种地步”,说的直白一点,其实我们很多人对技术这条路依然充满很多彷徨,不管我们的现状是多么的满意与辉煌。 最近一直招聘技术人员,见了很多求职的朋友,也和他们探讨了很多与职业发展,技术能力方面的问题,下面说下我个人的看法,和大家分享一下。 有很多的人总是一直在问“我搞.NET很多年了,但是感觉现在越走越窄了”。 其实“越走越窄“主要

08
领券