本文通过使用 Nocalhost 将本地开发机无缝连接到一个远程 Kubernetes 集群， 并在本地使用 Goland 来开发和调试 Kubernetes 集群中的 Apache APISIX ingress controller。Nocalhost 让我们可以使用现有的技术栈来顺畅地开发和调试类似 APISIX ingress controller 的 K8s 应用。
在这个以k8s为云os的时代，程序员在日常的开发过程中，肯定会遇到各种问题，比如：本地开发完，需要部署到远程k8s集群，本地如何直接操作呢？又如：提测到测试环境发现有问题，或者nightly环境本身没过，这时候，可能需要一些调试。下面介绍一款开源已久的产品来体验秒级体验下本地操作远程k8s、直接在调试远程代码。
现在，当你与企业开发团队交谈时，他们很有可能正在将应用程序迁移到云中，或者正在构建云原生应用程序。虽然在云中运行这些应用程序有很多方法，但Kubernetes经常是首选平台。它提供了一个功能强大的容器编排平台，为应用程序的发展提供了足够的增长空间。
微服务作为一种全新的软件架构现在正变得越来越火。基本原因我觉得有两点：一方面软件系统越做越复杂，通过拆分将一个大系统解耦成一个个独立的子系统，我们就降低了整个系统的复杂性。另一方面，Kubernetes 的出现使得编排这么多子系统变得简单，可以说 Kubernetes 是目前为止微服务最好的载体。
近日，由 TiDB 社区主办，专属于全球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 比赛圆满落幕。今年是 TiDB Hackathon 第四次举办，参赛队伍规模创历届之最，共有 45 支来自全球各地的队伍报名，首次实现全球联动。经过 2 天时间的极限挑战， 大赛涌现出不少令人激动的项目。为了让更多朋友了解这些参赛团队背后的故事， 我们将开启 TiDB Hackathon 2020 优秀项目分享系列，本篇文章将介绍 B.A.D 团队赛前幕后的精彩故事。
现在越来越多的公司选择利用 Kubernetes 来部署和管理 java 应用，那镜像。
滴滴开源了其Kafka 监控与管控平台 Logi-KafkaManager，因为有30+个集群的维护经验，使用过kafka-manager，kafka-eagle，kafka-mirrorkaker工具，所以很期待能有1个工具能够整合kafka所有工具优点于一身，这样对于生产环境中kafka集群的管理、监控、资源分配、平滑升级、数据跨机房传输是非常好的，所以在研究kafka源码的同时研究一下Logi-KafkaManager的源码和使用，滴滴提供了体验地址：http://117.51.150.133:8080/kafka ，账户：admin/admin。
Elasticsearch 是一个分布式的搜索和分析引擎，使用它可以轻松地进行全文搜索、结构化搜索和分析。Elasticsearch Service 是 Elastic 公司提供的一种托管服务，可以让用户轻松地在云上部署和管理 Elasticsearch 集群。在本篇文章中，我们将分享一些 Elasticsearch Service 的实践经验和技术干货，帮助您更好地使用 Elasticsearch Service。
一般来说，你应该在运行时增加调试选项来调试问题；也可以把调试选项添加到 Ceph 配置文件里来调试集群启动时的问题，然后查看 /var/log/ceph （默认位置）下的日志文件。
在使用 Linkerd 之前，您需要安装核心控制平面。本页介绍了如何实现这一点，以及您可能遇到的常见问题。
自从服务上云引入K8S后，我们开发模式也发生了改变。我们最能想到的一种开发流程就是：
如果我们想与其他微服务进行联动调试，则需要在本地环境中启动对应的微服务模块，这可能需要大量的配置和构建时间，同时也会占用我们本地很多资源，可能还会出现”带不动“的情况。
调试 Kubernetes 应用程序就像在迷宫中导航。由于其分布式特性和众多组件，在 Kubernetes 中识别和解决问题需要一套强大的工具和技术。
如果你的工作机（前置机、跳板机、操作机、堡垒机…）是 Windows 桌面环境。那么我强烈推荐你使用这个 K8S 实用工具：图形化 UI Lens[1]。
我们在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需要打包成jar上传到linux上，再扔到正式的集群上进行测试，像功能性验证直接使用local模式来快速调测是非常方便的，当然功能测试之后，我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题，这个在local模式是没法测的，还有集群运行的调优参数，这些都可以在正式仍到集群时验证。 一个样例代码如下： 如何在spark中
虽然Visual studio 、Visual studio code 都支持debug甚至远程debug ，Dapr 搭配Bridge to Kubernetes 支持在计算机上调试 Dapr 应用程序，同时仍然让它们与 Kubernetes 集群上运行的服务和应用程序进行交互。 但是在调试过程中，难免修改配置、添加调试信息、修改代码并验证，这样就需要提交代码，重新编译、部署以验证功能是否符合预期，这样就拉长时间线，拉低了开发效率。一个系统可能还好点，如何项目A调用B、B又调用C，想要调试C，本地调试的话就需要配置3套环境，分别运行3个项目，流程线可想而知。
调试Kubernetes应用程序通常是一个痛苦的过程，充满未知和不可预知的副作用。当你的Kubernetes集群没有自我愈合时会发生什么？错误配置的资源限制如何影响应用程序在生产环境中运行？如果不遵循一些基本原则，处理这些问题通常会使调试Kubernetes成为一个非常困难的过程。
当我们面对一个大型应用程序，它有大量的微服务，并希望完成一些功能开发？ 我们面临许多挑战，其中之一将是处理正确的环境，如何进行开发。我们知道，在团队中解决这个问题的最佳方法是将其容器化并在云上托管。这将使开发人员能够处理特定功能并调试容器，而无需在本地创建环境。
在开发、调试为生产环境下 K8s service 中的应用程序时，常常需要一些工具或者命令。本文介绍了三种不同场景下对应的解决方案以及工具。
Spark 是一个大数据运算框架，使用了DAG调度程序,比基于Hadoop MapReduce 运行速度提高了100倍以上 Spark 是一个通用框架，对于不同的运行场景都提供了对于的解决方案： 基于流式运算的 Spark Streaming框架 基于SQL 语法的 Spark SQL框架 基于图运算的 GraphX 框架 基于人工智能与机器学习的 MLlib 框架 Spark 可运行在 Yarn 框架上，还可以运行在独立的集群，Mesos，kubernetes 等集群上面，访问HDFS，HBase，Hive等上百种数据源 Spark 支持 Scala，Java，Python及R语言的快速编写 Spark 角色分为 HMaster，Worker俩种角色,Spark 启动命令为 Spark-Submit(简称Driver), Spark 运算框架可以不基于Hadoop 框架进行数据运行，所以在配置conf文件时，不涉及 Hadoop 相关东西，在运算时， 如果数据存储或者需要写入到HDFS时，需要指定数据读取/写入命令 如果只是Local模式运行(调试模式)，可以不基于HDFS 提示：[集群在运行过程中，涉及SSH访问，所以集群配置时一定需要免密登陆方可执行] Spark 集群安装 1. 配置文件修改 spart-env.xml 配置HMaster IP,端口 slave.sh 配置workers ip地址 2. 启动Spark集群 start-all.sh Spark 高可用安装 可以采用，也可以不采用，根据自身条件而定 1. 安装Zookeeper 集群及配置Zookper集群，修改HMaster IP端口为Zookeeper 地址，并且启动 spart-env.xml 2. 启动Spark 集群 start-all.sh 3. 配置HMaster StandBy 进程 并且启动 hmaster-start.sh 提交Spark Sample任务 1.spart-submit classpath jarpath Spark任务执行流程 Spark任务执行流程与Yarn任务执行流程类型 1. 首先客户端编写配置Configuration信息，打包Jar包，发起任务到HMaster 2. HMaster根据用户下发的任务信息，配置Worker个数及Worker对应的内存及CPU等，并且启动Worker； 3. Worker根据HMaster下发参数信息，并且与Client交互，获取对应的jar包等信息，然后启动Executor行数据处理(一个Worker下可以包含多个Executor) 4. 输出保存数据。 Yarn与Spark的对比 Yarn ResourceManager DataManager YarnChild (Job/Client)/ApplicationMastor Spark HMaster Worker Executor SparkSubmit SparkShell 执行 SparkShell 可以理解为Spark的交互式编程窗口，在启动SparkShell那一瞬间，Spark任务已经启动，每个Work已经分配内存及CPU，等待执行任务，一般不采用SparkShell执行任务，不推荐。 Scala编写Spark Spark对Scala的支持最好，Spark是用Scala语言开发的，所以Spark中包含了很多Scala特有的语法，这一点是其他语言所不能比拟的，所以编写Spark任务推荐使用Scala。 Spark 任务入口为SparkContext，首选需要创建SparkContent，然后就可以按照Spark任务执行流程进行编写，指定MapTask执行操作，ReduceTask执行操作，数据输入，数据输出等。
点击头像下拉框，进入【资源中心】页面，可以在【集群列表】里面对上传的集群进行卸载操作。
调试容器化工作负载和 Pod 是每位使用 Kubernetes 的开发人员和 DevOps 工程师的日常任务。通常情况下，我们简单地使用 kubectl logs 或者 kubectl describe pod 便足以找到问题所在，但有时候，一些问题会特别难查。这种情况下，大家可能会尝试使用 kubectl exec，但有时候这样也还不行，因为 Distroless 等容器甚至不允许通过 SSH 进入 shell。那么，如果以上所有方法都失败了，我们要怎么办？
Kubernetes 具备完整的生态系统，提供了许多功能，可以显著增强容器化应用程序的管理、可伸缩性和安全性。以下是 13 个技巧，每个都详细说明了技巧解释、使用示例、上下文应用以及注意事项。
在使用Spark的过程中，一般都会经历调试，提交任务等等环节，如果每个环节都可以确认程序的输入结果，那么无疑对加快代码的调试起了很大的作用，现在，借助IDEA可以非常快捷方便的对Spark代码进行调试，在借助IDEA来完成Spark时，可以大致通过以下几个步骤来完成：
注：微信公众号不按照时间排序，请关注公众号“亨利笔记”，并加星标以置顶，以免错过更新。
Kubernetes，凭借其完善的生态系统，提供了许多功能，可以显著增强容器化应用程序的管理、可伸缩性和安全性。以下是13个技巧，每个技巧都有详细的解释、使用示例、上下文应用和需要注意的预防措施。
用eclipse将项目export出jar包，传到集群上使用spark-submit提交Application，可以看到在等待：
空闲管理通常在操作系统的控制下。在这种情况下，当内核空闲时，操作系统电源管理（OSPM）会将其移至低功耗状态。通常，可以选择状态，具有不同的进入和退出等待时间，以及与每个状态相关的不同级别的功耗。通常使用的状态取决于再次需要内核的速度。可以一次使用的电源状态还可能取决于SoC中除内核之外的其他组件的活动。每个状态均由进入状态时通过时钟门控或电源门控的一组组件定义。
Dlink 是一个基于 Apache Flink 开发的 FlinkSQL Studio，可以连接多个 Flink 集群实例，并在线开发、执行、提交 FlinkSQL 语句以及预览其运行结果，支持 Flink 官方所有语法并进行了些许增强。
假设您有一个在临时集群中运行的服务，并且有人报告了针对它的bug。为了找出您想要在本地运行服务的问题......但是服务依赖于集群中的其他服务，也许还依赖于像数据库这样的云资源。
调试运行中的容器和 Pod 不像直接调试进程那么容易，本文介绍了通过临时容器共享命名空间的方式调试业务容器进程的方法。调试 pod 最简单的方法是在有问题的 pod 中执行命令，并尝试排除故障。这种方法很简单，但有许多缺点。
读文档和读源码的目的是不一样的，就拿 Apache Flink 这个项目来说，如果你想知道 Flink 的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说 StreamGraph 是怎么生成的或者是 Exactly Once 究竟如何实现的，那么就需要去阅读源码了。
Linkerd 2.0最近宣布一般可用（GA），表明它已经准备好用于生产。在本教程中，我们将向你介绍如何在你的Kubernetes集群上启动和运行Linkerd 2.0。
本文将帮助您理解DevOps 工程师所需的最重要的和最常用的 Kubernetes 命令。通过掌握这些命令，您将能够轻松导航和控制 Kubernetes 集群。 Kubernetes 改变了容器编排方式，kubectl是管理 Kubernetes 集群的主要工具。要运行这些命令，请使用Kubernetes 集群或在线集群，并确保kubectl已安装。 让我们深入了解基本kubectl命令：
问题：在SQL执行引擎侧对sort做了一些优化，集群机器从23台缩容18台之后，这个sql运行后出现了结果错误的问题，在原来23台以及其他规模的集群场景下没任何问题，数据出来不对了，幸亏这是个测试场景，于是便可以出debug包进行调试。 思路：其中几个关键点。 第一：数据不一致，这里指的是优化后的向量化执行引擎与优化前的向量化执行引擎的结果对比。 第二：集群规模发生了变更。 所以基于这两点进行分析。 1.首先通过debug包捞出计算后的数据，如果符合预期那么优化前后的数据应该是匹配的，数据规模是10TB，数据行数大约是1.3亿条，抓取多少条能分析出问题是一个比较重要的参数，于是设置了200进行对比，其结果如下：
调试服务网格(service mesh)可能很困难。当某些东西不起作用时， 是代理(proxy)有问题吗？与应用程序(application)？与客户端(client)？与底层网络？(underlying network)有时， 没有什么比查看原始网络数据更好的了。
Allinea软件于2015年3月份宣布其调试和性能调优工具套件Allinea Forge支持CUDA 7.0，同时在它的性能分析器和分析工具里集成GPU利用率测量功能。 开发者可以在Allinea Forge5.0.1版本里看到对CUDA7.0的支持——一直以来Allinea都是在第一时间支持CUDA最新的版本。AllineaForge包括Allinea DDT 调试器和Allinea MAP分析器，被广泛用于滴滴涕Allinea调试器和Allinea MAP分析器，被广泛用于开发高性能混合CP
大家都知道，在没有K8S集群时，我们能直接连接测试环境服务实现debug。随着K8S到来，我们无法直接连接业务服务dubug，K8S Pod 分配的IP地址是集群内部网络，集群外部网络是无法直接访问到Pod，那有什么好的解决方法能直接连接Pod？下面介绍下开源 Telepresence。
云知声是一家专注于语音及语言处理的技术公司。Atlas 超级计算平台是云知声的计算底层基础架构，为云知声在 AI 各个领域（如语音、自然语言处理、视觉等）的模型迭代提供训练加速等基础计算能力。Atlas 平台深度学习算力超过 57 PFLOPS（5.7 亿亿次／秒，是的你没有看错，是亿亿次]
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。
导读：中国联通大数据能力开放平台为支撑公司内部数据运营和外部数据合作提供了丰富的框架资源、数据资源、多样化的组件和工具以及应用部署环境。 平台为每个入驻租户都提供了独享和隔离的计算框架和数据库服务，包括关系型、离线分析型、流数据类、KV类型等；提供的数据服务包括抽取联通脱敏后的用户标签数据；提供的数据加工、分析类组件种类就更多了，包括元数据、数据质量、地图服务、分布式服务框架、分布式ETL、工作流引擎等二十多种。 随着容器技术的普及，一些租户也提出了希望开放平台能够提供一个友好的容器开发和运行环境，开放
由于 Spark 是计算框架，还需要有底层存储系统、资源协调管理、分布式协作管理等框架等进行支撑，因此我们这里使用在《万字+50图，详解 Hadoop HA 完全分布式部署配置及运行调试》中部署的 Hadoop 作为 Spark 的存储及管理系统，在此基础上以 HA 模式来安装部署并运行 Spark 集群。
OpenAI刚刚发布了震惊世人的Sora，最新的ChatGPT版本似乎也是箭在弦上。
一、相关依赖包安装 1. 安装依赖包 yum install libtool gcc gcc-c++ libuuid-devel keyutils-libs-devel libblkid-devel redhat-lsb libedit-* yum install libatomic_ops-devel snappy-devel leveldb-devel libudev-devel cryptopp-* fuse-devellibaio-devel xfsprogs-de
Hadoop的部署模式有四种：本地模式、伪分布式模式、完全分布式模式、HA完全分布式模式。
Pinterest是世界上最大的图片社交分享网站。网站允许用户创建和管理主题图片集合,例如事件、兴趣和爱好。以下为来自Pinterest工程师关于代码审查的一些思考。
摘要：Dinky 0.6.1 已发布，一起来看它如何优化 Flink 应用体验。内容包括：
Linkerd 中的多集群支持需要在默认控制平面安装之上进行额外的安装和配置。本指南将介绍此安装和配置以及您可能遇到的常见问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
