漫画大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

漫画大数据

专栏成员

14

文章

8142

阅读量

16

订阅数

漫画大数据：你确定在读取 HDFS 块数据的时候一定要经过 DataNode 吗？

小伙伴们大家好，小咪请大家帮忙点个关注和在看哇～

2023-02-06

2450

漫画大数据：如何解决 NameNode 内存持续增长的问题（三）

hadoop 大数据 hdfs 内存

小伙伴们大家好，小咪请大家帮忙点个关注哇~ 漫画大数据：如何解决 NameNode 内存持续增长的问题（二） ---- 想了解更多 HDFS 技术细节，可参考《Hadoop 技术内幕》这本书~

2023-02-06

3230

漫画大数据：HDFS 存储小文件岂不是很浪费磁盘空间？

小伙伴们大家好，小咪请大家帮忙点个关注哇（文末有现金红包）～ ---- 想了解更多 HDFS 技术细节，可参考《Hadoop 技术内幕》这本书～

2023-02-06

3200

漫画大数据：如何解决 NameNode 内存持续增长的问题（二）

NameNode 的内存占用与 HDFS 中的目录数量、文件数量以及块数量有关，随着目录和文件数量的增多，可以通过调大 NameNode 堆内存的方式来解决内存不足的问题，但毕竟物理内存是有上限的，不可能无限增大，还有其他什么好办法呢？

2023-02-06

7470

漫画大数据：如何解决 NameNode 内存持续增长的问题（一）

vr 视频解决方案 jvm 大数据数据结构

以下内容参考自：https://tech.meituan.com/2016/08/26/namenode.html

2023-02-06

7480

漫画大数据：技术更新的一小步，迈向秃头的一大步

许多数据科学家、分析师和一般的商业智能用户都依赖于交互式SQL查询来探索数据。SparkSQL是一个用于结构化数据处理的Spark模块。它提供了一种称为DataFrames的编程抽象，还可以充当分布式SQL查询引擎。它使未修改的Hadoop Hive查询在现有部署和数据上的运行速度提高了100倍。它还提供了与Spark生态系统其他部分的强大集成(例如，将SQL查询处理与机器学习集成)。

2023-02-06

2190

漫画大数据：HDFS 中 NameNode 的内存为什么会一直涨？

NameNode 里有个叫 Namespace 的，它是维护整个 HDFS 文件系统的目录树结构及目录树上的状态变化的，比如一个目录树长这样：

2023-02-06

6450

《大数据技术从零开始》自学知识库(2022年整理)

https 网络安全 http 数据处理 kafka

大数据相关的岗位近年来增长不少，有不少朋友都在转这个方向，下面是最近整理的大数据技术知识库，供大家参考：

2023-02-06

1.1K0

《关于创新》--SSL第二届创新宣讲会演讲PPT分享

腾讯云测试服务

我这个创新主要是介绍了一下微软的一个评估工具, 叫做Microsoft assessment and plan Toolkit,简称MAP, 这个工具主要用于收集计算机数据,帮助企业在准备将IT迁入虚拟化时做出准确的评估

2023-02-06

2530

《智能时代》大数据与智能革命重新定义未来

大数据人工智能机器学习神经网络深度学习

最近这两年，经常会听到一些人工智能相关的新闻，比如：特斯拉汽车装配工厂生产线上没有工人，只有一百多个机器人、昆山富士康引入了6万台机器来实现关灯生产，还有上半年很火的AlphaGo战胜李世石等等。如果你不是一个失业的汽车工人，不是那个被富士康裁掉的生产线员工，或者不是一个职业的围棋选手，在你看到上面这些新闻时可能不会有太多的感触，认为这些人工智能取代/战胜人类只是一些个例，对自己的工作生活并没有带来太大的影响；但对于上面那些失业的工人来说，人工智能其实已经革了他们的命！

2023-01-31

6680

不错的文章：《如何建立自己的思维方式？》

今天一位群友问：我想提炼出一套自己的思维方法，比如老大让我去买土豆，我怎么去处理买土豆这个过程？有没有相关的书籍可以推荐，有没有相关的建议呢~

2023-01-31

6530

MOA联系人导入到手机本地？

文件存储 https 网络安全

如果MOA能像微信电话本一样可以作为系统的默认电话应用，当有来电时直接显示出这个电话是谁打来的，哪个部门的，什么职位等等，但目前来看，好像也没有规划要做成这样。

2023-01-31

8120

大数据技术周报(2022年11月第一期)

https 网络安全 html spark apache

Spark 3.3.1是一个包含稳定性修复的维护版本。该版本基于Spark的branch-3.3维护分支。强烈建议所有3.3用户升级到这个稳定版本。

2023-01-11

5760

漫画大数据：为啥我把 HDFS 文件权限都改成 777 了还是删不掉？

小伙伴们大家好 $ HADOOP_USER_NAME=hdfs hadoop fs -ls /test Found 1 items -rwxrwxrwx 3 hdfs supergroup 3 2022-12-15 22:17 /test/b.txt 第一组 rwx 表示文件的 Owner 也就是 hdfs 用户有读写权限第二组 rwx 表示文件所属组也就是 supergroup 组内的用户有读写权限第三组 rwx 表示其他用户有读写权限。但对于 HDFS 上的文件而言

2023-01-11

8670

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态