其实我的文章是有目录的，只是我都放到我的个人网站上了（网站地址：passjava.cn）。为了满足读者们的要求，我整理了一份精华文章目录到公众号上了。
分布式算法是并行算法的一个子类型，通常同时执行，算法的不同部分在独立的处理器上同时运行，并且对算法的其他部分正在做什么的信息有限。开发和实施分布式算法的主要挑战之一是在面对处理器故障和不可靠的通信链路时成功地协调算法的独立部分的行为。解决给定问题的适当分布式算法的选择取决于问题的特征，以及算法将运行的系统的特征，例如处理器或链路故障的类型和概率，可以执行的进程间通信，以及不同进程之间的时间同步级别。
最近三个月更新了 8 篇分布式理论和算法的文章，发现这些知识点虽然有一丢丢小枯燥，但是非常重要，于是每篇我都用故事的方式进行讲解，力求每篇都能让大家都能看懂，是不是很用心呢？
👆点击“博文视点Broadview”，获取更多书讯 我从事分布式系统架构相关工作十余年了，不仅熟悉常见的诸如Zookeeper等分布式框架，对于脑裂问题、CAP理论、Paxos和Raft算法也很熟悉，所以自认为略懂分布式系统。但江峰老师的著作《分布式高可用算法》让我对分布式系统和算法的理解更加系统、更加深入。 01 首先，自动机这个概念让我重新认识了分布式算法。 以前我以为所谓分布式算法就是为了解决一系列分布式问题而设计出来的一系列技巧，算法之间是独立的，并没有太多的内在联系，也从未想过所谓的算法模型
MLSQL 有一段时间致力于融合大数据平台和算法平台，实现 【同一个平台，同一个语言。】。事实上我们通过各种方式做到了,通过整合Spark ML,Spark ML周边，以及Python的支持（环境使用Conda）来完成，但是依然不够完美。为什么呢？
我目前是一名云计算工程师，不是计算机科班出身，学习过基础的计算机导论、程序设计基础、C 程序开发以及 C++ 程序设计开发。
分布式优化理论和算法近年来在多智能体系统中得到了广泛的发展与应用，目前在机器学习领域也正在受到越来越多的关注。本文主要介绍目前分布式优化算法的分类和研究现状，以及作者在该方向的一些工作。
框架设计是指在软件开发中，为了实现某种功能或解决某种问题，设计出一套通用的解决方案，以便在多个项目中复用。框架设计的目的是提高开发效率、降低开发成本、提高软件质量和可维护性。
1 Redis分布式算法原理 1.1 传统分布式算法 举个例子 蓝色表与4个节点时相同槽 1.2 Consistent hashing一致性算法原理 环形 hash 空间：按照常用的 hash 算法来将对应的 key 哈希到一个具有 232 个桶的空间，即（0-232-1）的数字空间中，现在我们将这些数字头尾相连，想象成一个闭合的环形 把数据通过一定的 hash 算法映射到环上 3 将机器通过一定的 hash 算法映射到环上 4节点按顺时针转动，遇到的第一个机器，就把数据放
前一篇文章聊了 Kafka 和日志，有读者希望我能更加深入的说下日志，解释下为什么没有日志这个概念，就没有现在的大数据，没有现在的数据库，为什么笔者会对日志这个概念推崇备至。所以有了这一篇文章。
我们知道以往资料要放到 M 台服务器上，最简单的方法就是取余数 (hash_value % M) 然后放到对应的服务器上，那就是当添加或移除服务器时，缓存重组的代价相当巨大。添加服务器后，余数就会产生巨变，这样就无法获取与保存时相同的服务器， 从而影响缓存的命中率。
分布式系统由Tanenbaum定义，“分布式系统是一组独立的计算机，在”分布式系统 — 原理和范例“中作为用户的单一，连贯的系统出现”。
在数据驱动的Web开发中，经常要重复从数据库中取出相同的数据，这种重复极大的增加了数据库负载。缓存是解决这个问题的好办法。但是ASP.NET中的HttpRuntime.Cache虽然已经可以实现对页面局部进行缓存，但还是不够灵活，此时Memcached或许是你想要的。
0x00 前言 本篇总结一下自己对大数据算法认知的过程。正文包含两部分：自己对算法的认知过程和对大数据算法的理解。 写这篇博客的原因有很多，总的来讲有下面几点： 自己在算法的路上一直懵懵懂懂，现在刚刚有了一点点头绪，赶快做个记录。 梳理清楚自己的思路，后续会有一个算法学习的一到两年的计划，这算是个引子。 谈起算法大家都只会想到经典算法和机器算法，除此之外还有很多有意思的算法，特别是为了解决大数据量问题的算法，这些很容易被忽略掉，但是我认为这才算是大数据算法。 0x01 认知过程 1. 算法没什么用 刚入坑的
一文读懂非关系型数据库（NoSQL） 本文共11000字****，阅读全文约需30分钟****。本文为大家解析非关系型数据库（NoSQL）。 前言 NoSQL(NoSQL = Not Only SQL
具体来讲，本文首先介绍了分布式计算的基本概念，以及分布式计算如何用于深度学习。然后，列举了配置处理分布式应用的环境的标准需求（硬件和软件）。最后，为了提供亲身实践的经验，本文从理论角度和实现的角度演示了一个用于训练深度学习模型的分布式算法（同步随机梯度下降，synchronous SGD）。
近期在考虑实现一个基于diff模式的笔记存储算法，具体是这样的：客户端触发存储逻辑时，首先会将文本T与前一次存储的文本S进行diff比较，生成一个patch，这个patch应用在文本S上，就能生成文本T，也因此，笔记的存储不再是单纯的将文本存在数据库中，而是一个类似于git的带有版本号的log，通过历史log生成最终的文本。
提到分布式系统，我们会想到很多机器，分别部署着各自的服务，然后整体组成一个分布式系统。在这类系统中，分布式系统与常规的集中式系统存在着以下三个区别。（来自分布式算法导论） 1、缺乏全局状态知识 2、缺乏全局时间帧 3、非确定性 这三大特点也成为分布式系统设计的难点。也正是如此，分布式系统的设计比常规的集中式系统要难的多。为了区别，我们称这种分布式系统为，群体分布式。这种犹如社会群体。 golang语言天生具有分布式的特点，其主要是基于协程与chan的概念。如果对gola
本文共11000字，阅读全文约需30分钟。 本文为大家解析非关系型数据库（NoSQL）。[ 在数据派THU后台（非留言区）回复"综述"即可获取资源。] 前言 NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。 现代计算系统每天在网络上都会产生庞大的数据量。这些数据有很大一部分是由关系型数据库管理系统（RDBMSs）来处理，其严谨成熟的数学理论基础使得数据建模和应用程序编程更加简单。 但随着信息化的浪潮和互联网的兴起，传统的RDBMS在一些业务上开始出现问题。首先，对数
现在很多开发同学对分布式的组件怎么使用都有一定经验，也知道 CAP 理论和 BASE 理论的大致含义。但认真去看分布式算法的真的很少，原因有三：
关系型数据库指的是使用关系模型（二维表格模型）来组织数据的数据库，由二维表及其之间的联系所组成的一个数据组织。
分布式系统(Distributed System)资料 希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多． 《Reconfigurable Distributed Storage for Dynamic Networks》 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解. 《
第一时间获取文章，可以关注本人公众号 月牙寂道长 yueyajidaozhang
分布式可繁也可以简，最简单的分布式就是大家最常用的，在负载均衡服务器后加一堆web服务器，然后在上面搞一个缓存服务器来保存临时状态，后面共享一个数据库，其实很多号称分布式专家的人也就停留于此，大致结构如下图所示： . 这种环境下真正进行分布式的只是web server而已，并且web server之间没有任何联系，所以结构和实现都非常简单。 有些情况下，对分布式的需求就没这么简单，在每个环节上都有分布式的需求，比如Load Balance、DB、Cache和文件等等，并且当分布式节点之间有关联时，还得考
今天为大家推荐一些翻译整理的大数据相关的学习资源，希望能给大家带来价值。
本文是《Thinking Above Code：TLA+ 从入门到实践》系列文章第一篇。
AI 科技评论按：在强化学习领域，谷歌大脑的研究内容一直是业界重点关注的对象。Marc G. Bellemare 是谷歌大脑的研究员，研究方向为分布式强化学习、表征学习等。他将自己在谷歌大脑 18 个月中研究经历和心得写成了文章并进行发表。 AI 科技评论全文编译如下。
在分布式算法改进后，算法因为分布式情况，存在通信、等待、同步、异步等问题，导致算法的空间复杂度、时间复杂度，没有达到预想的情况，针对机器学习的单体算法和分布式算法的优化方法，本节就来介绍相关原理和实现方法
对了，我自己做了一个基于 Spring Cloud 的开源项目《PassJava》，面试刷题一网打尽，为了做这个开源项目，我还买了一个 三年的腾讯云 CVM，求个Star~
这就是空中骨骼系统的基本概念。它结合了多旋翼技术和机械臂的优点，创造出一种前所未有的飞行形态。
悟空哥最开始学习分布式是从一篇非常用心写的技术征文开始的，而且这篇文章获得了征文第一名，在此感谢掘金社区提供的平台。
提醒：以下内容仅做参考，可自行发散。在发布作品前，请把不需要的内容删掉。 无论是初学者还是有经验的专业人士，在学习一门新的IT技术时，都需要采取一种系统性的学习方法。那么作为一名技术er，你是如何系统的学习it技术的呢。
云计算（Cloud Computing）是基于互联网的相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。
金融科技&大数据产品推荐：星环人工智能平台
1、分布式系统是用来解决集中式架构的性能瓶颈问题，其核心是可扩展性，其特点包括：不出现单点故障、无状态等。依照 CAP 理论，分布式系统只能在 CP 和 AP 之间做取舍。
作者简介 刘伟 云和开创高级顾问 题记：group replication作为mysql官方，在5.7版本阶段开发的，innodb的分布式数据库架构，从发布开始就有很多关注，下文是我对目前为止的材料
第三集：分布式Ehcache缓存改造 前言 好久没有写博客了，大有半途而废的趋势。忙不是借口，这个好习惯还是要继续坚持。前面我承诺的第一期的DIY分布式，是时候上终篇了---DIY分布式缓存。 ---- 探索之路 在前面的文章中，我给大家大致说过项目背景：项目中的缓存使用的是Ehcache。因为前面使用Ehcache的应用就一台，所以这种单机的Ehcache并不会有什么问题。现在分布式部署之后，如果各个应用之间的缓存不能共享，那么其实各自就是一个孤岛。可能在一个业务跑下来，请求了不同的应用，结果在缓
在众望所归之下，前两天终于出了一个全新的课程《从零实现分布式 KV》，大家的学习热情都非常高涨，其中有很多同学都问到了一个共同的问题，那就是这个课程和我之前的《从零实现 KV 存储》有什么区别呢？
本文将从课程设计的角度和大家聊一聊 PingCAP Talent Plan（TiKV 方向）课程，包括课程设计的逻辑、课程设计中遇到的困难，以及大家在学习过程中常见的问题和解答等。
Zookeeper目前是Apache下的开源项目，作为最流行的分布式协调系统之一，我们平时开发中熟知的Dubbo、Kafka、Elastic-Job、Hadoop、HBase等顶级开源项目中的分布式协调功能都是通过借助Zookeeper来实现的，可以看到在生产中保障Zookeeper服务的稳定、快速排查系统问题，深入探究Zookeeper系统的原理是有必要的，那Zookeeper是什么呢？
在了解redis分布式算法之前，最好先了解一下缓存中的一个应用场景，了解了这个应用场景之后，再来理解一致性哈希算法，就容易多了，也更能体现出一致性哈希算法的优点，那么，我们先来描述一下这个经典的分布式缓存的应用场景。
AI 科技评论按：2018 年 5 月 31 日-6 月 1 日，中国自动化学会在中国科学院自动化研究所成功举办第 5 期智能自动化学科前沿讲习班，主题为「深度与宽度强化学习」。
众所周知，R 在解决统计学问题方面无与伦比。但是 R 在数据量达到 2G 以上速度就很慢了，于是就催生出了与 hadoop 相结合跑分布式算法这种解决方案，但是，python+Hadoop 这样的解决方案有没有团队在使用？R 这样起源于统计学的计算机包与 Hadoop 相结合会不会出问题？因为他们在不懂R和Hadoop的特征应用场景的情况下，恰好抓到了一根免费，开源的稻草。 R： R的应用场景不在于无与伦比的统计学习能力，而在于 结构化数据 下无与伦比的单位代码产出量。神经网络，决策树等基于结构化数据的 算
当下互联网时代，数十亿用户每天生产着百亿级规模的数据。作为AI炼丹的底层燃料，这些海量数据至关重要。然而，由于训练数据和模型规模的增大，机器之间的通信成本越高，机器学习系统经常会出现高延迟、低负载的现象。
说到FNV哈希算法不得不提Memcached，我们先简单介绍一下Memcached。
区块链技术其实就是一个特殊的多活分布式数据库，既不是万能的也不是一无是处的，和所有技术一样都有特定的适用场景，大家也需要在技术角度客观的看待这个问题。 记者 | 鸽子 最近，随着区块链技术在各大媒体上大肆报道，人们对区块链的态度分为两级。 一种看法是百分百的拥护和信奉，将“去中心化”时时刻刻挂在嘴边，好像只要去了中心化，整个地球就和平了，人类就超脱升华了。而另一种看法则来自“古典”的技术派，认为区块链就是炒作，“去中心化”没有任何实际应用价值，仅仅是用来投机的一种方式，完全嗤之以鼻。 在从事多年数据库工作的
Zookeeper目前是Apache下的开源项目，作为最流行的分布式协调系统之一，我们平时开发中熟知的Dubbo、Kafka、Elastic-Job、Hadoop、HBase等顶级开源项目中的分布式协调功能都是通过借助Zookeeper来实现的，可以看到想要在生产中保障Zookeeper服务的稳定、快速排查系统问题，深入探究Zookeeper系统的原理是有必要的，那Zookeeper是什么呢？
选自Github 机器之心编译 今日，中科院计算所研究员徐君在微博上宣布「中科院计算所开源了 Easy Machine Learning 系统，其通过交互式图形化界面让机器学习应用开发变得简单快捷，系统集成了数据处理、模型训练、性能评估、结果复用、任务克隆、ETL 等多种功能，此外系统中还提供了丰富的应用案例，欢迎大家下载使用。」在此文章中，机器之心对开源的 Easy Machine Learning 系统进行了介绍。 GitHub 项目地址：https://github.com/ICT-BDA/Eas
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
