大数据-Hadoop、Spark-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

大数据-Hadoop、Spark

专栏成员

88

文章

147755

阅读量

39

订阅数

Linux的一些知识

:wq 强制性写入文件并退出。即使文件没有被修改也强制写入，并更新文件的修改时间。

2021-03-07

5000

spark hive sql 负载均衡负载均衡缓存

网易在Spark多租户方面的工作，这个项目叫做Kyuubi(该项目的开源地址： https://github.com/netease-bigdata/kyuubi https://github.com/yaooqinn/kyuubi)，实际上是类似于HiveSever2的程序。

2021-03-03

1.6K0

EMR Remote Shuffle Service

ESS（EMR Remote Shuffle Service）是EMR在优化计算引擎的Shuffle操作上，推出的扩展组件。

2021-03-03

1.4K0

聊聊Kubernetes

tcp/ip kubernetes 容器

轻量级：消耗资源小开源，来自Google 内部15年工程经验弹性伸缩负载均衡：IPVS

2021-03-03

3380

使用YAML部署容器

kubernetes http 容器镜像服务

在这个场景中，学习如何使用Kubectl创建和启动部署、复制控制器，并通过编写yaml定义通过服务公开它们。YAML定义定义了调度部署的Kubernetes对象。可以更新对象并将其重新部署到集群中以更改配置。

2021-02-05

1.1K0

学习使用Kubectl部署Containers

http kubernetes 容器容器镜像服务命令行工具

如何使用Kubectl创建和启动部署、复制控制器，并通过服务公开它们，而不需要编写yaml定义。快速地将容器启动到集群中。

2021-02-05

6480

kubernetes tcp/ip 容器镜像服务 https http

初始化集群的第一阶段是启动主节点。主服务器负责运行控制平面组件、etcd和API服务器。客户端将与API通信，以调度工作负载和管理集群的状态

2021-02-05

7220

spark python kubernetes kerberos 大数据

Spark Standalone on Kubernetes (via k8s community) SPIP: SPARK-18278 https://github.com/apache-spark-on-k8s/spark (fork)

2021-01-26

6400

java 打包 go spring jvm

Go与C/C++消耗的CPU差距不大，但由于Go是垃圾回收型语言，耗费的内存会多一些。拿Go与同为垃圾回收型语言的Java简单比较一下。

2021-01-26

5000

Linux /var/log下的各种日志文件

https 网络安全 linux

last等日志是二进制文件，无法直接修改。所以清除的最简单方式是清空日志文件本身。

2021-01-21

1.8K0

yarn node -list

[yarn@bigdata016 ~]$ yarn node -list 2021-01-12 00:07:07,642 INFO [main] client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm2 Total Nodes:32 Node-Id Node-State Node-H

2021-01-14

4890

HBase多租户系统设计

面向多租户的数据安全和资源隔离能力，提供标准的用户名密码认证、ACL、Quota、Resource Group等特性，看到集群的容量状况，Server列表，表属性，表大小等等信息。在集群管理系统中，可以完成namespace管理、用户管理、ACL管理等功能

2021-01-13

1.1K0

Spark任务日志

sql spark linux

SparkListenerLogStart SparkListenerBlockManagerAdded SparkListenerEnvironmentUpdate SparkListenerApplicationStart //N个 SparkListenerExecutorAdded //N个 SparkListenerBlockManagerAdded org.apache.spark.sql.execution.ui.SparkListenerSQLExecutionStart SparkListenerJobStart //N个 SparkListenerStageSubmitted //N个 SparkListenerTaskStart SparkListenerTaskEnd //N个

2021-01-13

4670

FsImage Analyse Tool

yarn node.js 大数据 hadoop bash

该工具提供自动化解析HDFS集群FSImage文件，并解析成文本文件存储在HDFS中；解析后的信息通过Hive映射成表，并通过Hive进行相关信息统计，使用有数生成相关报表。

2021-01-08

9351

Hive on Tez 典型日志内容

Hive on Tez 典型日志内容 INFO : Compiling command(queryId=hive_20201014093918_9393118a-0614-4c9e-a6da-865afb5df98d): select count(*) as cnt, new_uv from dm_db. dm_browser_app_retain_d where p_dt = '2019-07-13' GROUP BY new_uv INFO : Semantic Analysis Complet

2021-01-08

9540

image.png 微服务无状态，不使用session。典型的多语言的微服务拓扑图。 image.png

2021-01-08

1820

ReadProcessor read fields took xx ms

node.js hadoop 大数据 linux

cd /opt/log/xdp/hadoop-hdfs/hdfs_datanode

2021-01-08

1K0

Spark History Server自动删除日志文件

spark node.js hadoop 面向对象编程

公司的计算平台上，写入spark-history目录日志文件数超过设定阈值（1048576），导致任务失败。

2021-01-04

2.8K0

HDFS ls查看文件-按照时间排序

file ls output sort time

Hadoop2.8.0以下版本，内置是不支持按照时间等属性排序的。我们可以结合Shell命令来实现按照文件最近修改的时间对 ls 命令输出结果进行排序。比如，按照最近修改的时间降序排序（也就是越早修改的文件显示在最下面）

2021-01-04

3.7K0

NameNode信息的接口

java image jmx memory png

jmx?qry=Hadoop:service=NameNode, name=NameNodeInfo http://yyy:50070/jmx?qry=Hadoop:service=NameNode

2020-12-31

8170

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态