一个项目刚开始的时候是为了实现基本功能，随着版本和功能的迭代，大数据和高并发成了软件设计必须考虑的问题!
RTSP/Onvif网络摄像头、GB/T28181国标流媒体服务器、RTMP推流服务器一个优势就是可以随时进行视频调用，错过的视频都可以调取录像来进行回看，所以对我们的研发来说，录像视频回看这种功能是我们的必备功能，并且会有相对应的接口配置可以自由设置。
关键业务的考核指标，重点关注业务价值评价的标准指标，电商类的下单量、支付量等，股票交易类关注买入、卖出以及账户中资金和持有股票的资金的关系等指标。这部分最好是和团队内BA一起确定，建立一套基于业务价值的监控指标。
N个机台将业务数据发送至服务器，服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。
在实际的生产环境中，如果对MySQL数据库的读和写都在一台数据库服务中操作，无论在安全性、高可用性，还是高并发性等各个方面都是完全不能满足实际需求的，一般来说都是通过主从复制（Master-Slave)的方式来同步数据，再通过读写分离来提升数据库的并发负载能力这样的方案进行部署与实施
RAID（独立磁盘冗余阵列） 是将多块普通磁盘组成一个阵列，共同对外提供服务。主要是为了改善磁盘的存储容量、读写速度，增强磁盘的可用性和容错能力
一般我们业务在读多写少的场景下，遇到的第一个瓶颈就是数据库这块，大量的读请求会来到数据库，这样如果你初期部署的一个数据库就会造成IO大量增加，使得请求变慢，甚至会卡死整个数据库，到了这个阶段，我们一般会将读请求和写请求进行分开数据处理，即采用主从读写分离的方式。
58 集团业务种类繁多，目前包括的业务有 58 同城、赶集网、安居客、58 金融公司、中华英才网、驾校一点通等，数据库种类包括 MySQL、Redis、MongoDB、ES、TiDB。我们自己构建了“58 云 DB 平台”，整合了所有数据库的一体化运维。
上一文章中，我们了解了HDFS的架构和读写流程。 HDFS通过将文件分块来存储大文件，HDFS的组件有NameNode和DataNode,分别负责提供元数据和数据服务 在读/写数据时，HDFS客户端需要先从NameNode上获取数据读取/写入的DataNode地址，然后和DataNode交互来完成数据读/写。
这也是一个老方法了，只是今天用到了，就过来记录下。总觉得公司服务器磁盘不给力，有时候 vim 编辑的时候都会卡顿，IO 经常 90%+，很纳闷，就测试了一下磁盘的读写速度。 一、测试写速度： time
摘要: 高并发一直是然个人头疼的问题；然而，其解决方式则是一套组合策略，由整体入手，逐步分析，逐步解决部分问题，进而解决所有问题；就像一支庞大的输水管道，不断的做分支导流，每层的分支可以导出部分的流量，继而顺利导出所有的流量。 总体思路：优化代码，分离业务逻辑，数据库,最后加服务器等； 逐步解决方案，具体操作如下： (1).页面的动静分离： 页面生成了静态的缓存，页面中的图片、JS等静态资源推CDN; 动态数据，能做缓存的做缓存（redis,memache）;不能做缓存的，开始从代码层面下着手； (2).
Redis是一种基于键值对(Key-Value)的NoSQL数据库，Redis的Value可以由String，hash，list，set，zset，Bitmaps，HyperLogLog等多种数据结构和算法组成。Redis还提供了键过期，发布订阅，事务，Lua脚本，哨兵，Cluster等功能。Redis执行命令的速度非常快，根据官方给的性能可以达到10w+qps。那么本文主要介绍到底Redis快在哪里，主要有以下几点：
Redis 是一种基于键值对 (Key-Value) 的 NoSQL 数据库，Redis 的 Value 可以由 String，hash，list，set，zset，Bitmaps，HyperLogLog 等多种数据结构和算法组成。Redis 还提供了键过期，发布订阅，事务，Lua脚本，哨兵，Cluster 等功能。Redis 执行命令的速度非常快，根据官方给的性能可以达到 10w+ QPS。那么本文主要介绍到底 Redis 快在哪里，主要有以下几点：
就需要服务器引入nginx，Nginx官方宣传5W并发量，利用其反向代理，可以加入很多台Tomcat处理。但是有个问题，多机器Tomcat的Session之间共享问题。这个时候就需要引入Redis作为存储各个Tomcat之间的Session共享问题，同时 redis 也可作为下面的优化使用。一些经常查询的热点数据，可以存入Redis，加快相应速度，也就不用直接取数据库查询了。
我们都知道查询优化器，知道在查询优化器中会经历逻辑查询优化和物理查询优化。需要注意的是，查询优化器只能在已经确定的情况下（SQL 语句、索引设计、缓冲池大小、查询优化器参数等已知的情况）决定最优的查询执行计划
MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。 MySQL监控MySQL服务器硬件和OS（操作系统）调优： 1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问的文件在内存里，而不是在磁盘上，InnoDB会快很多。 2、全力避免 Swap 操作 — 交换（swapping）是从磁盘读取数据，所以会很慢。 3、使用电
原文：http://www.monitis.com/blog/101-tips-to-mysql-tuning-and-optimization/ MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。 Mysql 监控 MySQL服务器硬件和OS（操作系统）调优： 1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问
报错： 从215服务器上面可以看到使用k8s的命令就是没反应 要不就是回复的是时间超时！连接不上！ 尝试命令kubectl get pods 、kubectl get nodes等没反应超时！ 这个时候我们可以看看集群状态可以看到etcd处于宕机状态
redis相信大家都很熟悉了，和memcached一样是一个高性能的key-value数据库，至于什么是缓存服务器，度娘都有很明白的介绍了，我在这里就不一一介绍了。关于和memcached具体可以看Django配置缓存机制
想必咱们许多朋友在挑选香港VPS、云服务器的时分，是不是看到有一些服务器方案中硬盘介质是有区别的。有的是HDD机械硬盘，有的是SSD固态硬盘，有的甚至是这两年开端比较流行的NVMe固态硬盘。那关于这些硬盘的主机和服务器挑选，咱们挑选哪个好呢？
一、背景和现象。 项目是PHP开发的，点击登录的时候就根据随机数生成了二维码，缓存在了redis。用户用微信扫描了二维码分析出需要请求的链接，然后微信浏览器就请求了服务器，服务器通过了随机数认证。正当请求了之后，服务器就拿服务器找出来的的APPID去微信服务器请求。微信准许登陆，服务器修改状态。这个时候websocket服务器修改了状态，把修改状态的事告诉浏览器，浏览器变更状态。如果没有websocket的情况下，浏览器不断的询问服务器是否修改了状态，不能设置得太频繁所以慢。扯远了，这里关键就是说生成的二维
当然，本篇也是关于性能优化的，那性能优化就应该一把梭子吗？还是要符合一些规范和原则呢？
线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:
一个工程对应一个归档包(war)，这个war包 包含了该工程的所有功能。我们成为这种应用为单体应用，也就是我们常说的单体架构。具体描述: 就是在我们的一个war包种，聚集了各种功能以及资源，比如JSP,JS,CSS等。
现在稍微大一点的网站基本上都有好几个子域名，比如www.xz577.com, xz577.com, vip.xz577.com，这些网站如果需要共用用户登录信息，那么就需要做到session共享，当然前提是有相同的主域名。
大模型作为人工智能领域的重要发展趋势，正在逐渐改变人们的生活和工作方式。随着近年来大模型领域技术的突破，各类语言模型、图像模型、视频模型快速演进，国内外市场也不断涌现出优秀的大模型研究及商业化平台，预期通过对模型效果的持续优化和产品方案层面的持续包装，共同推动推动国内各行各业的产业升级。
小文件传输，一般文件传输软件都可以解决的问题。大家最早使用的小文件传输软件，非开源软件FTP莫属了。但对FTP，也有很多企业在与镭速进行技术沟通时，都提及到，它的传输是真的慢！
某客户戴尔R730服务器，操作系统为Windows Server 2012，ERP公司的技术人员在运维过程中，经常向我司技术人员反馈：微软自带远程桌面，在输入用户名和密码之后黑屏，无法登录进入桌面，我司技术人员通过anydesk工具发现可以远程操作服务器，但是速度非常，点一下鼠标需要等10秒甚至30秒才有响应，直接远程重启服务器后正常，但是第二天又会黑屏。。。
一个页面里面引入了大量小图片，单张大小约十几KB，网站文本主体显示较快，但整个页面打开的速度很慢，浏览器F12控制台上看大多都是排队从服务器下载图片，加载图片。
通常使用QPS（Queries Per Second，每秒查询书）和TPS（Transactions Per Second）来查看数据库的效率。
MySQL逻辑架构 MySQL逻辑架构.png 优化与执行 MySQL会解析查询，创建内部数据结构（解析树），对齐进行优化（重写查询、决定表的读取顺序、选择合适的索引）； 使用explain，可以解释
11、MySQL 里有 2000w 数据，redis 中只存 20w 的数据，如何保证 redis 中的数据都是热点数据？
面试中网络方面的知识被问到的概率很大，尤其是互联网公司，要熟悉osi七层模型，其中TCP/IP方面的知识尤其重要。如果自己平时有Socket编程的经验对面试也是很有帮助的。网络方面有空可以看看TCP/IP详解卷一和UNIX网络编程。以下总结了一些面试中常问的问题：
慢日志(Slow log) 是 Redis 用来记录命令执行时间的日志系统。例如线上Redis突然出现堵塞，使用该命令可以查询Redis服务器耗时的命令列表，快速定位问题。
将磁盘使用scsi或sata母线直接与主板相连给系统提供存储的一种方式，如我们的笔记本默认就是这种方式。
一说海量数据有人就说了直接用大数据，那只能说不太了解这块，为此我们才要好好的去讲解一下海量的处理
造成第三条语句执行时间如此长的主要原因就是大量的 OR 语句会导致 SQL 解析非常耗时.
数据库包含的种类： 广义数据库：Oracle，Mysql，PostgreSQL，Redis，Hbase 应用场景 比如说，电商网站：用户账号信息，商品信息，用户订单信息 比如说，网上论坛：主题，发帖，回复 数据库存在的目的 存储，管理，维护大量数据 提供比Excel，磁盘文件读写等更好的性能和可能性 所引法： 查找文件，在索引的时候，需要去磁盘上读取信息 索引的时候，还是在磁盘IO上读，是非常慢的（对比电脑而言）—>磁盘运转 ，单位 毫秒（ms） 内存读写是非常快的，单位 纳秒 （ns）——>毫
前言:tomcat一度是web容器的标准，但是tomcat的并发量却只有200-400之间，即使现在有了aio模式，也没有提升太多。所以现在大部分都是使用netty作为高性能服务器框架，在dubbo，
Domino中的全文索引任务是用来更新数据库中的全文索引，这样用户可以更好地利用数据库中的索引来精确地快速查找文档。全文索引必须定期更新，不然新的或更改的文档，就无法查找到。——当然对于邮件用户来说，一般不需要全文索引也能比较好满足用户的搜索查找需求。但想想，如果可以搜索各种附件中的文本内容，那么全文索引还是有很大吸引力的。 风险就出现在这里。如果数据库很大，全文索引也就比较大，再加上磁盘读写慢，那么更新就比较慢。当全文索引任务（FT indexing）还未结束，但服务器又开始运行一起其他任务时，如db
Kafka 作为消息队列中的中坚力量，基本上是每次面试必问的知识点。而说到 Kafka，大家对它的印象就是快！异常地快！
不知道大家有没有注意到，在22.10.31 21点之后，凯哥的个人博客站点(凯哥Java:www.kaigejava.com)访问速度提升了不少。那是因为凯哥对站点做了优化。本文就记录优化方面：
什么是动态内容缓存？ 浏览器向服务器发送请求后，服务器会根据浏览器的要求做相应的处理(如：数据库操作)，然后将处理后的结果注入JSP页面生成HTML，最后将生成的HTML返回给浏览器显示。我们知道，数据库读取操作是非常耗时的，如果能将每次请求中的数据库处理时间去掉，那服务器的相应速度将会大幅提升。要实现这一点，我们就需要将常用的HTML页面事先生成好，当用户发出请求时，服务器只需从缓存中取出即可，无需再做数据库处理操作。 综上所述：事先生成HTML页面的技术称为动态内容缓存。 什么是“缓存命中率”？ 缓存
Redis是一款开源的，ANSI C语言编写的，高级键值(key-value)缓存和支持永久存储NoSQL数据库产品。 Redis采用内存(In-Memory)数据集(DataSet) 。 支持多种数据类型。 运行于大多数POSIX系统，如Linux、*BSD、OS X等。 作者： Salvatore Sanfilippo
位于传输层， 提供可靠的字节流服务。所谓的字节流服务（Byte Stream Service） 是指， 为了方便传输， 将大块数据分割成以报文段（segment） 为单位的数据包进行管理。 而可靠的传输服务是指， 能够把数据准确可靠地传给对方。 即TCP 协议为了更容易传送大数据才把数据分割， 而且 TCP 协议能够确认数据最终是否送达到对方。所以，TCP连接相当于两根管道（一个用于服务器到客户端，一个用于客户端到服务器），管道里面数据传输是通过字节码传输，传输是有序的，每个字节都是一个一个来传输。
今天对接完成了SQL自动化上线的一个功能，其实心里还是有点小激动，终于可以很肯定说，数据库方向开始提供的是数据服务，而不是传统意义的工单了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
