Ubuntu 是很多开发者优先选择的 Linux 发行版之一，但是本文的作者在使用了十年之后却最终“抛弃”它转投“他人”怀抱。原因何在？
十多年来，我一直在使用 Ubuntu 的 Linux 发行版。但是，经过这么长时间以后，我第一次改变了心意。如今我开始使用 Manjaro，而且感觉非常好！
十多年来，我一直在使用Ubuntu的Linux发行版。但是，经过这么长时间以后，我第一次改变了心意。如今我开始使用Manjaro，而且感觉非常好！
大多数适合初学者的 Linux 发行版都是基于 Ubuntu 的。随着 Linux 用户经验的增加，一些人开始尝试使用更高级的发行版，主要是在“Arch 领域”。
Hadoop是时下最流行的企业级开源大数据平台技术，你可以将它部署在本地，也可以部署在云端。而深度学习，对于企业用户来说举几个简单的例子，常见的场景包括语音识别，图像分类，AI聊天机器人或者机器翻译。为了训练深度学习/机器学习模型，我们可以利用TensorFlow/MXNet/Pytorch/Caffe/XGBoost等框架。有时这些框架也会被一起使用用于解决不同的问题。
作者：Wangda Tan、Sunil Govindan、Zhankun Tang
自去年开始，谷歌就开始不断放风TPUv4，在论文中描述新一代TPU的架构设计，从前几代TPU设计中不断吸取经验。
她叫 Emma Haruka Iwao，来自日本，她利用谷歌云计算资源，花了 121 天，成功将圆周率 π 计算到小数点后 31.4 万亿位，准确地说，是小数点后 31415926535897 位，刷新了世界纪录。
来源：Google 作者：文强 【新智元导读】还愁用不起GPU？今天谷歌宣布云端可抢占GPU大幅降价，P100的价格每小时0.43美元，换算成人民币只需2.77元。 不是每个人工作的时候都需要GPU
周末读 Data Engineering Weekly 发现谷歌在四月二十一号的时候 Google Open Source Blog 发表了一篇文章 Logica: organizing your data queries, making them universally reusable and fun 介绍了其谷歌公司内部的一种崭新的开源逻辑编程语言 Logica。
Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库，基于 ECMA-376，ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLSX / XLSM / XLTM 等多种文档格式，高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档，并提供流式读写 API，用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目(GSP)、2018 年开源中国码云最有价值开源项目 GVP(Gitee Most Valuable Project)，目前已成为 Go 语言最受欢迎的 Excel 文档基础库。
Linux最主要的任务之一就是开发，许多企业都依赖Linux，没有Linux，技术根本满足不了当今世界发展的需求，也正因为如此，，开发人员不断地改进他们的工作环境，其中的一种方式就是有一个合适的平台，而Linux让你拥有许多选择
大规模数据处理技术如果从MapReduce论文算起，已经前后跨越了十六年。我们先沿着时间线看一下大规模数据处理的重要技术和它们产生的年代。后面从MapReduce到Spark、Flink、Beam的演进特性来看大规模数据处理计算引擎应该具备什么样的能力。
Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库，基于 ECMA-376，ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLAM / XLSM / XLSX / XLTM / XLTX 等多种文档格式，高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档，并提供流式读写 API，用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目(GSP)、2018 年开源中国码云最有价值开源项目 GVP (Gitee Most Valuable Project)，目前已成为 Go 语言最受欢迎的 Excel 文档基础库。
大家好，我是shadow，今天是1024，属于开发者的节日，日子很特别，今天的推送由我来完成～
8月20日，比利时布鲁塞尔西南郊的St.Ghislaina小镇日前遭遇了强雷电天气，而这一恶劣天气的出现也让谷歌位于当地的数据中心不幸“躺枪”。
导语：在过去的几个月里，作者一直在专注于整理归纳AI的各类小要点。在被越来越多的朋友同事问及时，我决定将这些总结和心得的完整版分享给大家。为了增加内容的趣味性和可读性，我也在每个主题下面加了些注解，希望对你们有用。 另外，小编在这里邀请大家加入到我们，小编Tom邀请你一起搞事情！ 神经网络 各种公式~ 机器学习 概 览 Scikit-learn 算法 这张图可以帮助你找到正确的估计器，这应该是机器学习汇总最难的部分。下面的流程图可以帮助快速查找文档，并对每种估计器做了大致的介绍，有助你更
前段时间我又把Gnome桌面版的manjaro更新崩溃了，自己修复完了以后发现还是有不少小问题。鉴于博主强迫症比较严重无法忍受，于是换了各种桌面版的manjaro最终决定用回第一次用过的kde桌面版本。由于每一次更新都要配置一堆东西，比较麻烦，记录一下初始使用的过程，以便于后续自己重装系统不用再继续百度了emmmm。更新时间2019-11-24
Iceberg和Hudi都是数据湖技术，从社区活跃度上来看，Iceberg有超越Hudi的趋势。他们有以下共同点：
金融机构每年因欺诈带来的坏账损失每年高达数百万美元。随着在线数据量的增长，骗子的行骗能力也水涨船高，精心设计的骗局、身份窃取、欺诈手段及一些新型的诈骗手段层出不穷，方法复杂且容易广泛复制，当事后发现时，已经太迟了，客户和企业往往已经损失惨重。
Apache Beam是Google开源的，旨在统一批处理和流处理的编程范式，核心思想是将批处理和流处理都抽象成Pipeline、Pcollection、PTransform三个概念。Apache Beam本身是不具备计算功能的，数据的交换和计算都是由底层的工作流引擎（Apache Apex, Apache Flink, Apache Spark, and Google Cloud Dataflow）完成，由各个计算引擎提供Runner供Apache Beam调用，而Apache Beam提供了Java、Python、Go语言三个SDK供开发者使用。
你可以使用matplotlib.path模块，在maplotlib中添加任意路径：
Presto 在 Facebook 的诞生最开始是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Presto 的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。但是随着近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要批处理；但是 Presto 作为一个 MPP 计算引擎，将一个 MPP 体系结构的数据库来处理海量数据集的批处理是一个非常困难的问题，所以一种比较常见的做法是前端写一个适配器，对 SQL 进行预先处理，如果是一个即时查询就走 Presto，否则走 Spark。这么处理可以在一定程度解决我们的问题，但是两个计算引擎以及加上前面的一些 SQL 预处理大大加大我们系统的复杂度。
实时处理是指从数据产生到根据该数据计算的结果产生之间的这段延迟可以满足业务的需求，假如业务需求是延迟不超过10ms，而你的处理延迟为15ms，就不能算实时处理，而假如业务要求处理数据的延迟为30min，而你的数据可以在20min内计算出来，这也算实时处理。
在实时计算领域，Apache Storm、Samza、Spark Streaming、Kafka Stream、Flink 等开源流式计算引擎层出不穷，呈现百家争鸣之势，Google 也顺势推出了开源的 Beam 计算框架标准。
Chang Stream(变更记录流) 是指collection(数据库集合)的变更事件流，应用程序通过db.collection.watch()这样的命令可以获得被监听对象的实时变更。BigQuery是Google推出的一项Web服务，该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。
导读：本文是根据 Stefan Kojouharov 发表在 Medium 上的文章整理而成的一份人工智能、神经网络、机器学习、深度学习和大数据方面的速查表。为了便于查找与使用，本文对每个主题进行了分类，希望可以对各位的工作有所帮助。
Sqoop/Canal：关系型数据收集和导入工具，是连接关系型数据库和Hadoop的桥梁，Sqoop可将关系型数据库的数据全量导入Hadoop，反之亦然。而Canal可用于实时数据的增量导入
对于Arch系等依赖滚动更新的发行版，Btrfs的快照功能真的是太具有吸引力了。纵使我已经很久没有遇到“滚炸”、纵使就算“滚炸”去Manjaro论坛看一眼一般都能解决，但是这些都不如一个“后悔药”来得实在——遇到问题，重启、选择老快照、恢复，一切都是那么美好。因此，前阵子（指12月中旬）我就把系统分区迁移到Btrfs上了。这篇博客就主要记录了迁移与快照的各种实现方案。
上面我们讲了 大数据的数据查询方法 ，使用Hive或者 Impala，但是这些只能查询固定历史的数据，如果要实时计算可能就不是那么合适了。
最近我在学习流式计算引擎Flink，正在阅读Flink的官方文档、一些技术博客以及《Streaming Processing with Apache Flink》这本书，并试图将一些知识整理下来，形成一个系列。
在各种python的项目中，我们时常要持久化的在系统中存储各式各样的python的数据结构，常用的比如字典等。尤其是在云服务类型中的python项目中，要持久化或者临时的在缓存中储存一些用户认证信息和日志信息等，最典型的比如在数据库中存储用户的token信息。在本文中我们将针对三种类型的python持久化存储方案进行介绍，分别是json、pickle和python自带的数据库sqlite3。
随着软件供应链攻击的增加，保护我们的软件供应链变得更加重要。此外，在过去几年中，容器的采用也有所增加。有鉴于此，对容器镜像进行签名以帮助防止供应链攻击的需求日益增长。此外，我们今天使用的大多数容器，即使我们在生产环境中使用它们，也容易受到供应链攻击。在传统的 CI/CD 工作流中，我们构建镜像并将其推入注册中心。供应链安全的一个重要部分是我们构建的镜像的完整性，这意味着我们必须确保我们构建的镜像没有被篡改，这意味着保证我们从注册中心中提取的镜像与我们将要部署到生产系统中的镜像相同。证明镜像没有被篡改的最简单和最好的方法之一（多亏了 Sigstore）是在构建之后立即签名，并在允许它们部署到生产系统之前验证它。这就是 Cosign 和 Kyverno 发挥作用的地方。
本文是《极客时间》-《TiDb极简入门》的学习笔记。传送门：https://time.geekbang.org/opencourse/videointro/100089601
随着移动互联网，物联网技术的发展，数据的应用逐渐从 BI 报表可视化往机器学习、预测分析等方向发展，即 BI 到 AI 的转变。
为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了Hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。 目前主流的三大分布式计算系统分别为：Hadoop、Spark和Strom： Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。 S
欢迎来到《Python技术周刊》这是第21期,每周六发布,让我们直接进入本周的内容。由于微信不允许外部链接,你需要点击页尾左下角”阅读原文“,才能访问文中的链接。
为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了Hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。
GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！ 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
Vivaldi 是一款日益流行的网页浏览器。它基于 Chromium 内核，因此它拥有和 Chrome 类似的功能，但它也新增了一些其他特色功能，让这款浏览器与众不同、更为直观。
本文介绍了基于Hadoop大数据分析的应用场景和实践，包括京东的京麦团队在Hadoop平台上的业务场景和优化方案。Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。通过使用Hadoop，企业可以在控制成本的同时，提高处理大数据的速度。
身处信息时代之中，我们最能明显感受到的一点就是密集数据大量爆发，人们积累的数据也越来越多。这些庞杂的数据出现在一起，传统使用的很多数据记录、查询、汇总工具并不能满足人们的需求。更有效的将这些大量数据处理，让计算机听懂人类需要的数据效果，从而形成更加自动化、智能的数据处理方式。
链接: https://adamj.eu/tech/2020/03/10/django-check-constraints-sum-percentage-fields/
17，18是计算引擎火热的两年，19年已然是红海了。计算引擎中的王者是Spark，综合指标最好，生态也好，当其他引擎还在ETL,交互查询，流上厮杀时，Spark已经在AI领域越走越远。
图数据库是一种根据节点和边存储数据的数据库。数据以非常灵活的方式存储，无需遵循预定义的模型。该图形成了两个节点之间的关系，这种关系可以是有向的也可以是无向的。这些数据库旨在处理数据/节点之间的复杂关系。
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。
截图工具是日常适用频率较高的一种系统工具，在Linux下也有不少常用截图工具，如deepin-screenshot等，但是今天我们要介绍的是FlameShot——一款更加精致的Linux全局截图工具。
谷歌地球引擎是一个计算平台，允许用户在谷歌的基础设施上运行地理空间分析。与平台交互的方式有以下几种：
大数据技术的发展历程中，继数据仓库、数据湖之后，大数据平台的又一革新技术——湖仓一体近年来开始引起业内关注。市场发展催生的数据管理需求一直是数据技术革新的动力。比如数据仓库如何存储不同结构的数据？数据湖又如何避免因为缺乏治理导致的数据杂乱现象？今天的文章想跟大家具体聊聊我们的数栈如何解决这些问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
