数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。
原文链接：https://www.cnblogs.com/mikevictor07/p/10006553.html
数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化。
https://www.cnblogs.com/mikevictor07/p/10006553.html
数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的
无论是作为个人电脑的数据盘，还是在数据中心里面用作海量数据的存储，机械硬盘仍然在被大量使用。随着成本下降，机械硬盘还替代掉了很多传统的存储设备，如以前常用来备份冷数据的磁带。
其实早在去年我们就已经开始接触并研究clickhouse了，因为当时进行多表关联测试性能并不是特别优秀，所以并没有在线上大范围使用，当时研究的是分布式部署 （感觉分布式会比单机好一些）最后发现性能并不怎么样 而且分布式的sql也有很多限制，不支持单条删除和更新操作、不支持in和join（当时的版本，18.12.14之前），直到前几天看了携程一篇关于clickhouse的文章，将clickhouse的性能描述的神乎其神，再次勾起了我研究的欲望，附携程公众号文章 干货 | 每天十亿级数据更新，秒出查询结果，ClickHouse在携程酒店的应用
Written by 王磊(bluestn). Summary SRS支持将直播录制为VoD文件，在压测时，如果流路数很多，会出现CPU消耗很多的问题。 原因是写入较小视频包时，SRS使用了write，由于没有缓冲能力，导致频繁的系统调用和磁盘繁忙。 优化方案，可以选择fwrite(v5.0.133+)，或者老版本用内存盘方案，可将DVR性能提升一倍以上。 Environments SRS服务器配置如下： • CPU：INTEL Xeon 4110 双路16和32线程 • 内存：32G • 网卡：10Gb
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
如 http://www.javaedge.com => http://bit.ly/1ULoQB6
在《如何为服务器硬盘配置RAID或JBOD模式》一文中提到，单张RAID卡无法同时启用RAID模式和JBOD模式，即无法混合管理，如果RAID卡为所有硬盘配置了JBOD模式，那么用于安装操作系统的两块SSD无法通过RAID卡做RAID 1。除非有两张RAID卡，把SSD和数据盘分开管理，一张启用RAID模式，为两块SSD做RAID 1，另外一张启用JBOD模式，管理所有数据盘。或者在软件层面实现操作系统的软RAID。本文将主要讲述如何在操作系统层面配置软RAID。
最早我的第一个笔记本电脑是华硕的A43S系列的笔记本，因为当时立志要做一名程序员，所以就买了个配置相对较高的，内存8G，硬盘750G，CPU是i7的，当时大概是5200多的售价，大概兼职了小半年才忍痛从某东的购物车里面下单，货到之后经常干的一件事就是用鲁大师跑分，然后在一个宿舍内装逼，看谁的电脑能力叼。其实没卵用，后来才发现大多数程序员用的都是ThinkPad系列。
GPU 云服务器（GPU Cloud Computing）是基于 GPU 的快速、稳定、弹性的计算服务，因此，可以广泛应用到深度学习训练/推理、图形图像处理以及科学计算等场景中。 GPU 云服务器提供和标准 CVM 云服务器一致的方便快捷的管理方式。GPU 云服务器通过其强大的快速处理海量数据的计算性能，有效解放用户的计算压力，提升业务处理效率与竞争力。腾讯云的GPU云服务器分为两类，一个是计算型实例服务器，一个是渲染型实例服务器。不管是何种类型的GPU云服务器，都需要配置和安装必要的组件才能正常工作和使用。
类型：技术专栏 作者介绍 张凯（Kyle Zhang），SmartX 联合创始人 & CTO。毕业于清华大学计算机系，研究方向为分布式系统和体系结构。2013 年与徐文豪、王弘毅联合创立 SmartX，主导自主研发了 SmartX 分布式文件系统 SmartX ZBS。SmartX 拥有国内最顶尖的分布式存储和超融合架构研发团队，是国内超融合领域的技术领导者。 本文转载自知乎专栏 @SmartX 技术博客，点击底部“阅读原文”进入博客浏览更多文章。 过去半年阅读了 30 多篇论文，坚持每 1~2 周写一篇
在Linux的世界里，设备是构成系统的基础，它们使得计算机能够与外界互动。Linux设备可以大致分为几种类型，每种类型都有其独特的特性和用途。🌌让我们一起探索这些设备类型及其特性。
近期实验室项目需对2GB/s的高速数字图像数据实时存储，后续数据带宽将提升至30GB/s。经调研，SATA协议的固态硬盘理论存储有效带宽为600MB/s，NVMe协议的固态硬盘理论带宽随PCIe协议而不同。NVMe协议的固态硬盘在PCIe Gen2、Gen3条件下，理论有效带宽分别为2GB/s、3.938GB/s。目前，NVMe SSD最高搭载PCIe Gen4通路，其理论有效带宽为7.877GB/s。
NVMe SSD具有高性能、低时延等优点，是目前存储行业的研究热点之一，但在光鲜的性能下也同样存在一些没有广为人知的问题，而这些问题其实对于一个生产系统而言至关重要，例如：
摘要：同时使用Linux和Windows平台产品，大量使用静态的方法和类，Stack Overflow是个重度性能控。同时，取代横向扩展，他们坚持着纵向扩展思路，因为“硬件永远比程序员便宜”。 StackOverflow是一个IT技术问答网站，用户可以在网站上提交和回答问题。当下的StackOverflow已拥有400万个用户，4000万个回答，月PV5.6亿，世界排行第54。然而值得关注的是，支撑他们网站的全部服务器只有25台，并且都保持着非常低的资源使用率，这是一场高有效性、负载均衡、缓存、数据库、搜索
生产环境需考量各种因素，结合自身业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦）
描述:GRUB英文全称GRand Unified Bootloader俗称引导程序是硬盘中的软件,它可以启动用户在计算机中的多个操作系统所以也叫多重启动管理器。 目前主流版本是 GRUB2，在windows中也有类似的引导程序ntloader虽然它也可以引导Linux操作系统但是比较麻烦;
大多数 Linux 发行版在默认配置下已经足够快了。但是，我们仍然可以借助一些额外的应用程序和方法让它们启动更快一点。其中一个可用的这种应用程序就是 Preload。它监视用户使用频率比较高的应用程序，并将它们添加到内存中，这样就比一般的方式加载更快一点。因为，正如你所知道的，内存的读取速度远远快于硬盘。Preload 以守护进程的方式在后台中运行，并记录用户使用较为频繁的程序的文件使用相关的统计数据。然后，它将这些二进制文件及它们的依赖项加载进内存，以改善应用程序的加载时间。简而言之，一旦安装了 Preload，你使用较为频繁的应用程序将可能加载的更快。
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
大数据文摘作品 编译：Yanruo、小鱼 这是一份详细介绍了目标检测的相关经典论文、学习笔记、和代码示例的清单，想要入坑目标检测的同学可以收藏了！ 在大数据文摘后台回复“目标检测”可打包下载全部论文~
英文原文：StackOverflow Update: 560M Pageviews A Month, 25 Servers, And It's All About Performance StackOverflow 是一个 IT 技术问答网站，用户可以在网站上提交和回答问题。当下的 StackOverflow 已拥有 400 万个用户，4000 万个回答，月 PV5.6 亿，世界排行第 54。然而值得关注的是，支撑他们网站的全部服务器只有 25 台，并且都保持着非常低的资源使用率，这是一场高有效性、负载均衡
【编者按】StackOverflow是一个IT技术问答网站，用户可以在网站上提交和回答问题。当下的StackOverflow已拥有400万个用户，4000万个回答，月PV5.6亿，世界排行第54。然而值得关注的是，支撑他们网站的全部服务器只有25台，并且都保持着非常低的资源使用率，这是一场高有效性、负载均衡、缓存、数据库、搜索及高效代码上的较量。近日，High Scalability创始人Todd Hoff根据Marco Cecconi的演讲视频“ The architecture of StackOver
一个威刚SP900 128G固态硬盘坏了，想用开卡软件来修复，然后就必须知道是什么主控，于是拆开看里面SandForce SF2241 VB2的主控芯片，flash看不懂600739095300463844，最后试出来是28044，MT29F128G08CFABBWP 20MLC Micron镁光的。
提起存储都是血泪史，不知道丢了多少数据，脑子首先想到的就是《你说啥》洗脑神曲，我就像那个大妈一样，千万个问号？？？？？？？？？？？？？.........
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
最近机房上架了一台Dell PowerEdge R940xa服务器，操作系统准备部署Windows server 2012R2，分区如下：前2块SSD硬盘做系统盘，后面4块机械盘做数据盘。正常安装系统，无非是配置RAID+安装系统就行了，但实际上往往会遇到一些坑，比如配置RAID出现问题，安装系统识别不到硬盘，系统安装后网卡等驱动需要手动安装等，本文总结了配置RAID和安装系统时的一些技巧，期望伙伴们可以快速简洁的安装您的系统。 一、准备工作 1、一张Windows server 2012R2中文启动光盘。 2、规划好硬盘RAID类型，比如RAID1+RAID5。 3、服务器IP等。
现在IT科技日益飞速发展，人们对于电脑的性能要求也越来越高。从显卡到CPU再到内存，小小机箱内的硬件无不在不停的进化之中。而唯独没有太大性能突破的，要数硬盘了。自从SSD推入市场以后，一直未被广大消费者所接受。除了高昂的价格之外，还有过小的容量。而近来随着用户要求的不断提升，SSD也开始被人们所接受。很多人使用一块较小的SSD作为系统分区，再加一块传统机械硬盘作为存储。
作为第一个大规模商用的、最有希望接续NAND的下一代存储介质，最近这两三年Intel在傲腾上的投入不可谓不大。Intel甚至在2020年10月宣布出售NAND业务产品线。Intel如此有把握和决心，让我不得不感觉NAND在PLC之后的路，会非常艰难。
SSD，全称Single Shot MultiBox Detector，是Wei Liu在ECCV 2016上提出的一种目标检测算法，截至目前是主要的检测框架之一，相比Faster RCNN有明显的速度优势，相比YOLO V1又有明显的mAP优势。本开源是基于PaddlePaddle实现的SSD，参考了PaddlePaddle下的models的ssd ，包括MobileNetSSD，MobileNetV2SSD，VGGSSD，ResNetSSD。使用的是VOC格式数据集，同时提供了预训练模型和VOC数据的预测模型。
熟悉存储发展趋势就会知道：如今冯·诺依曼架构备受挑战，简单说，当数据为中心时代到来，要求计算围着数据转，以减小数据搬移带来的性能瓶颈以及功耗，所谓解决“存储墙”问题，而冯·诺依曼架构是一个以计算为中心的架构，新的时代要求创新的架构。
渗透测试人员其实都知道，只要能够直接接触到目标设备，并且选对了工具，那么任何设备都会成为“待宰的羔羊”。 早在2005年，Hak5就已经研发出了一款简单又暴力的渗透测试工具。随着BashBunny的问世，渗透测试可能又更进了一步。 组合各种USB设备的攻击方式 按照Hak5自己的说法，这款设备是“世界上最先进的USB攻击工具”。我们就来看看这款工具究竟有哪些本领。 这款设备“打开”的攻击面的确比先前的设备大了很多。渗透测试攻击和IT自动化工作，对Bash Bunny而言几秒内就能完成。 通过各种USB设
外存储器（External Storage or Secondary Storage）指的是除了计算机的主存储器（通常是RAM）之外用于存储数据和程序的设备。与主存相比，外存储器提供了更大的存储容量和持久存储能力，但访问速度较慢。外存储器主要用于保存不需要立即访问的数据，以及在系统关闭后仍需要保留的信息。
如何使家庭更加智能化？如何使结构更具有美感？如何用小成本实现大改变？智能86盒为您揭晓答案。
无论是学习还是工作，电脑都是IT人必不可少的重要武器，一台好电脑除了自身配置要经得起考验，后期主人对它的维护也是决定它寿命的重要因素！ 你日常是怎么维护你的“战友”的呢，维护电脑运行你有什么好的建议吗？
OpenCV 是英特尔开源的跨平台计算机视觉库。也就是说，它是一套包含从图像预处理到预训练模型调用等大量视觉 API 的库，并可以处理图像识别、目标检测、图像分割和行人再识别等主流视觉任务。OpenCV 最显著的特点是它提供了整套流程的工具，因此我们根本不需要了解各个模型的原理就能一个个 API 构建视觉任务。
假设将CPU比喻为计算机中的"大脑"，那存储器就是其附身了，存储空间有限但是非常的快。为了记忆部分数据就出现了CPU Cache，它用的是一种叫做SRAM的芯片，下面看看什么是SRAM和DRAM
在存储设备中，使用分层技术，将冷热数据自动分层存放在具有不用读写性能的存储介质上，已经是很普遍的做法，比如 IBM 的 DS8K 中使用的 Easy Tier。这些功能都需要存储设备固件的支持，如何在 Linux 主机上，使用 Linux 现有的机制，实现数据的分层存储？本文主要介绍了 Linux 平台上两种不同的实现分层存储的方案。 背景介绍 随着固态存储技术 (SSD)，SAS 技术的不断进步和普及，存储介质的种类更加多样，采用不同存储介质和接口的存储设备的性能出现了很大差异。SSD 相较于传统的机械硬
上周，我撰写了一篇题为《给 Ubuntu 的一封分手信》的文章，纪念我过去 15 年甚至更久时间里一直坚守的Linux 发行版 Ubuntu。Ubuntu 一直致力于为用户提供易于使用的 Linux 桌面环境，它以让用户简单易上手为目标，并且在绝大部分时间里，这个目标都得以实现。然而，最近的一次更新使 Ubuntu 变得显得缓慢且庞大，应用程序需要花费几分钟才能加载，一些 USB 设备，比如我的胶片扫描仪，突然变得无法使用。我很快找到了问题的源头——新引入的 Snap 包。因此，我知道，现在是时候放弃 Ubuntu 寻找另一种发行版了。
我们知道SSD是一场存储革命，设计和制造一个好的SSD固然重要，但如何正确使用以充分发挥SSD性能同样重要。SSD内在的并行性和先擦再写的特性决定了它不同于机械硬盘简单的LBA和存储块一一对应，要充分挖掘SSD的并行性，提升性能，延长寿命，缩短延迟，就必须在上层应用做出改动。很多SSD的使用大户都作出了这种尝试，从国外的Google，Microsoft，Facebook，到国内的Baidu，Alibaba等，本站就曾经介绍过百度的软件定义闪存，把对象存储和SSD内部结构统一起来使用。但对大部分企业来讲，这种结构还是太独特了，我们还是要关注通用的架构，首先来了解离硬盘最近的软件：文件系统。本系列文章将以Linux系统最常见的EXT4文件系统为例，从SSD爱好者的角度来揭开文件系统的庐山真面目。
cgroup还有其他一些限制特性，如io，pid，hugetlb等，这些用处不多，参见Cgroupv1。下面介绍下与系统性能相关的io和hugepage，cgroup的io介绍参考Cgroup - Linux的IO资源隔离
对于Arch系等依赖滚动更新的发行版，Btrfs的快照功能真的是太具有吸引力了。纵使我已经很久没有遇到“滚炸”、纵使就算“滚炸”去Manjaro论坛看一眼一般都能解决，但是这些都不如一个“后悔药”来得实在——遇到问题，重启、选择老快照、恢复，一切都是那么美好。因此，前阵子（指12月中旬）我就把系统分区迁移到Btrfs上了。这篇博客就主要记录了迁移与快照的各种实现方案。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
