很多新入坑Loki的小伙伴当看到distributor、ingester、querier以及各种依赖的三方存储时，往往都比较懵逼，不知道从哪儿入手。此外再加上官方的文档里面对于集群部署的粗浅描述，更是让新手们大呼部署太难。其实，除了官方的helm外，藏在Loki仓库的production目录里面有一篇生产环境的集群部署模式。
从reddit/hackernews/lobsters/meetingcpp摘抄一些c++动态
长话短说，我们部门一个同事找到我，说他的spark 2.3 structured streaming程序频繁报OOM，从来没有坚持过超过三四天的，叫帮看一下。 这种事情一般我是不愿意看的，因为大部分情况下spark oom就那么几种可能：
前面实现了raft协议，本文实现一个单机键-值数据库，并通过raft建立主从架构，使得能够容错，但是没有分片。
在讨论某个数据库时，存储 ( Storage ) 和计算 ( Query Engine ) 通常是讨论的热点，也是爱好者们了解某个数据库不可或缺的部分。每个数据库都有其独有的存储、计算方式，今天就和图图来学习下图数据库 Nebula Graph 的存储部分。
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
在对上一次3月份的scala-meetup里我曾分享了关于Future在函数组合中的问题及如何用Monix.Task来替代。具体分析可以查阅这篇博文。在上篇示范里我们使用了Future来实现某种non-blocking数据库操作，现在可以用Task替换Future部分：
作者：余建涛，大数据平台产品中心高级工程师 摘要 Spark UI是查看Spark作业运行情况的重要窗口，用户经常需要根据UI上的信息来判断作业失败的原因或者分析作业如何优化。DLC团队实现了云原生的Spark UI Sevice，相较于开源的Spark History Server，存储成本降低80%，大规模作业UI加载速度提升70%。目前已在公有云多个地域上线，为DLC用户提供Spark UI服务。 背景 Spark History Server原理 Spark History Server(以下简称S
上期我们给大家带来分布式数据管理如何完成数据存储，数据同步，数据跨端访问，并保证整个过程中跨设备数据安全的解读。
raftexample中的存储其实有两种，一个是通过raft.NewMemoryStorage()进行创建的raft.raftStorage，关联到单个raft节点，另一个是通过newKVStore创建的kv存储，用于服务来自外部的访问。
在日常工作生活中一些突发的的事件，例如：双十一期间某些热门商品的降价促销，当这其中的某一件商品被数万次点击浏览或者购买时，会形成一个较大的需求量，这种情况下就会造成热点问题。
本文介绍了开源框架MXNet的环境变量配置和显存问题。首先介绍了如何设置进程数量、显存选项和控制数据通信，然后讨论了如何恢复训练。
HarmonyOS是万物互联时代的操作系统。通过分布式技术，HarmonyOS将多台终端形成一台“超级虚拟终端”，让用户使用多设备如同使用单设备一样简单。那么在这个“超级虚拟终端”中，数据怎么存储？怎么同步？怎么访问？想必是大家最关心的问题。
之前，我们开源了腾讯云数据库Tendis存储版，同时又对这个产品的适用场景、架构、特性和发展历程进行了分享。 而这次，我们还对Tendis存储版的技术特性进行深度解读。 进入公众号，后台回复“0120刘锐”，即可下载分享PPT。本文将主要分为简介，架构，和特性三个部分展开。 tendis存储版是一款支持redis协议，数据存放在磁盘的存储引擎。架构可以简单的分为三层，一个是tendis的server层，然后是rocksdb的引擎层，底层我们通常采用ssd来提高io速度，当然sata盘也是可以的。我们
刚完成了9月份深圳scala-meetup，趁刮台风有空，把我在meetup里的分享在这里发表一下。我这次的分享主要分三个主题：“Monadic编程风格“、”Future vs Task and ReaderMonad应用方法“及”using heterogeneous monads in for-comprehension with MonadTransformer“。这篇想先介绍一下Monadic编程风格。
Nacos尽可能的减少用户部署以及运维成本，做到用户只需要⼀个程序包，就可以快速以单机模式启动 Nacos 或者以集群模式启动 Nacos。
上篇序言中我们讲述了源码解读系列的由来，在 Nebula Graph Overview 篇中我们将带你了解下 Nebula Graph 的架构以及代码仓分布、代码结构和模块规划。
该文介绍了如何使用MXNet框架进行深度学习。首先介绍了MXNet的架构和主要特点，然后介绍了如何使用MXNet进行深度学习。包括加载数据、定义模型、训练模型和预测等步骤。同时，还介绍了MXNet的包管理和部署方法。最后，通过一个简单的示例展示了如何使用MXNet进行深度学习。
Nacos尽可能减少用户部署以及运维成本，做到用户只需要⼀个程序包，就快速单机模式启动 Nacos 或集群模式启动 Nacos。而 Nacos 是⼀个需要存储数据的组件，为实现目标，就要在 Nacos 内部实现数据存储。单机问题不大，内嵌关系型数据库即可；但集群模式就要考虑保障各节点间的数据⼀致性及数据同步，就得引入共识算法，通过算法保障各节点间的数据⼀致性。
重构，是任何一个技术团队都无法绕过和回避的话题。记得10年前，我第一份正式工作，就经历了项目持续的重构历程，为了写好代码，当时还反复读了Martin Flower的《Refactoring》, 时到今日，这本书里的很多点，还给了我很多启示。回顾这10多年来经历的各类项目，还是有很多值得分享的点，准备分两篇文章，来过一下这些想法，抛砖引玉，期待有更多好的想法能冒出来。 1. 明确本次重构的目的 我的第一个观点，重构是有代价的，带来业务的不稳定（引入新的bug）和人力资源的投入（大家需要暂时放下业务的推进）。
摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，基于对 bilibili 实时计算的痛点分析，详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面：
异步事件列队主要由LinkedBlockingQueue[SparkListenerEvent] 构建，默认大小为10000
1.传统数据库遵循 ACID 规则。（ A (Atomicity) 原子性，C (Consistency) 一致性，I (Isolation) 独立性，D (Durability) 持久性）2.Nosql 一般为分布式而分布式一般遵循 CAP 定理（一致性(Consistency) (所有节点在同一时间具有相同的数据)， 可用性(Availability) (保证每个请求不管成功或者失败都有响应) ，分隔容忍(Partition tolerance) (系统中任意信息的丢失或失败不会影响系统的继续运作)）
Grafana Loki 配置文件是一个YML文件，在Grafana Loki 快速尝鲜的示例中是loki-config.yaml，该文件包含关于Loki 服务和各个组件的配置信息。由于配置数量实在太多，没法全部翻译，只能后期有需要了再补充。
Kafka Stream背景 Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下： Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署 除了Kafka外，无任何外部依赖 充分利用Kafka分区机制实现水平扩展和顺序性保证 通过可容错的state store实
对 Tendermint 有了一个的了解之后，我们需要对 Tendermint 进行开发和操作，该如何运行这个项目。 Tendermint 使用的是 cobra 这个命令行框架，需要对 cobra 有一定的了解。
仅用于参考 auth_enabled: false server: http_listen_port: 3100 # grpc_listen_port: 9096 common: path_prefix: /tmp/loki replication_factor: 1 ring: instance_addr: 127.0.0.1 kvstore: store: inmemory schema_config: configs: - from:
近日，Pinterest 品趣志的工程团队最近公布了弃用 HBase 集群的流程规划，理由是该方案基础设施建设与维护成本过高、HBase 专业人才难寻以及产品功能不足。而随着 Pinterest 也转向 Druid/StarRocks、Goku、KVStore、TiDB 等数据库技术，技术社区开始质疑在 Hadoop 和 HDFS 之上运行非关系数据库的作法是否正迅速衰落。
etcd的增删改都会增加全局版本号，删除也是软删除，虽然便于回溯修改历史，但是随之带来问题，数据量的膨胀。因此需要进行压缩，也就是compact。假如我们制定压缩版本是v6，那么v6之前的所有已经删除的key会被删除，没有被删除的key保留最新的版本，丢弃之前的修改历史。
分析 cosmos 的交易手续费的实现细节，以了解其实现方式用于TRON的手续费模型的实现参考。 在 cosmos 中，gas 用于跟踪执行期间的资源消耗。普通交易消耗的也是 gas。 gas 通常在对存储进行读取和写入时使用，但如果需要执行昂贵的计算，也可以使用。
由于 TiDB 的事务模型沿用了 Percolator 的事务模型。所以先从 Percolator 开始，关于 Percolator 论文没看过的同学看这里：https://www.luozhiyun.com/archives/609 我已经翻译好了
区块链应用已经从单纯电子现金发展到去中心化投票等更多的领域，但是区块链这样的分布式系统的开发还存在一些困难的问题：安全、可靠性、敏捷度、以及一致性保证等等。Tendermint的目的就是致力于解决分布式系统开发中像公示算法这样的技术难点，而让Tendermint区块链应用开发者可以将关注点集中在业务逻辑上。
mvcc目录的server/storage/mvcc/hash.go定义了哈希方法
Raft 是一种广泛使用的分布式共识算法。NebulaGraph 底层采用 Raft 算法实现 metad 和 storaged 的分布式功能。Raft 算法使 NebulaGraph 中的 metad 和 storaged 能够集群化部署、实现了多副本和高可用，同时 storaged 通过 multi-raft 模块实现了数据分片，分散了系统的负载，提升系统的吞吐。
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。
Mongodb4.0引入了多文档事务的特性，我们来看，4.0中是如何进行一个多文档事务的（js的mongoshell代码）。
事实上日志系统的开发团队靠谱的很，就是监控领域大名鼎鼎的Grafana Labs，为人所熟知的有开源数据可视化工具Grafana、监控系统Prometheus等等。
Rust 团队2021-06-17宣布 Rust 的新版本 1.53.0发布，获取 Rust 1.53.0：
在Kubernetes集群中，对于应用程序的日志采集和分析非常重要。Loki是一个可扩展的、分布式的日志聚合系统，可以在Kubernetes中实现快速和高效的日志采集。
哈希（hash）可能是是计算机界应用最广泛的算法了，小到 HashMap，大到分布式键值系统(Key-Value Store)，哈希算法无处不在。其将无限的，分布不均匀的值均匀映射到有限区间的能力使其广泛运用在索引，加密算法以及负载均衡器中。
知识图谱 （Knowledge Graph）作为一个重要的技术，在近几年里被广泛运用在了信息检索，自然语言处理，以及推荐系统等各种领域。学习知识图谱的嵌入表示 （Knowledge Graph Embeddings）是一种从知识图谱结构中生成无监督节点特征（node feature）的方法，生成的特征可以被用在各种机器学习任务之上。例如，可以通过节点的嵌入表示来预测两个节点之间是否有链接（link prediction）。
很多时候我们把Loki部署成一个单体应用，这样能够让我们快速的将它在开发、测试环境中应用起来。不过最终大家都还是逃不过真香定律，这个时候大家就在琢磨运维的灵魂三问了，这东西怎么部署到生产环境？高可用稳定吗？分布式怎么样？今天小白起个引子， 在Loki分布式部署上面给大家带来思考。
LPG日志收集方案内存占用很少，经济且高效！它不像ELK日志系统那样为日志建立索引，而是为每个日志流设置一组标签。下面分别介绍下它的核心组件：
codis集群在接入弹性云测试时发现容器漂移失败，通过集群日志看，提示 调度超时，去界面查看，已经调度成功了（调度成功的标志就是已经有宿主机IP了），状态显示的pending并不一定就是调度失败。但这反应不出来问题出在哪里，接下来就需要到master机器上执行命名，查看日志来分析问题出在哪里
提及日志收集搜索框架，最常看到的解决方案就是 ELK。虽然现在有 Docker、k8s 帮我们简化了部署流程，但 ELK 对硬件的要求却很高。光是 Elasticsearch 官网就提及到需要 8 GB 内存以上的机器部署，可见占据的资源之多。为了能降本增效(穷~~~)，在网上看到了 Grafana 团队的日志框架: Loki。为此进行了深入的了解并应用在了一些项目上。
想写这个是源于微信交流群里面的一个讨论。在讨论分布式系统的时候，有群友明确地如下说：
这把我惊起了一身冷汗，赶紧去查了一下是不是分布式系统理论界又有新的论文来推翻了之前的CAP定理了。后来深入讨论以后，才发现是他对CAP的理解有误。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
