类似于 Elasticsearch 的 ELK 技术栈，InfluxDB 也有一套 TICK 技术栈
官方最新版本下载地址： [https://portal.influxdata.com/downloads/%5D
TICK堆栈是来自时间序列数据库InfluxDB的开发人员的产品集合。它由以下组件组成：
性能监控是容器服务必不可少的基础设施，容器化应用运行于宿主机上，我们需要知道该容器的运行情况，包括 CPU使用率、内存占用、网络状况以及磁盘空间等等一系列信息。在我的前文《Docker容器可视化监控中心搭建》之中我们就实践过Docker容器的可视化监控，在那篇文章中我们是使用了 cAdvisor + influxdb + grafana 技术栈来完成的。然而容器化世界里向来不会只有一种方法来实现某项功能，可以说有一百条大路来通到罗马，因此本文再来探讨另一种称为 TICK 的技术栈方案来实现Docker容器的性能监控。
https://docs.influxdata.com/chronograf/v1.10/administration/config-options/#--influxdb-url
公司在做一个工业监控系统，虽然数据采集点并不算多但是数据量积累下来也非常大，使用mysql数据库进行数据存储和查询时很慢，所以让我调研一下时序数据库，通过调研和了解时序数据库在海量数据的读取和写出都比关系型数据库和NoSql快很多，有人做过mysql和influxDB对比，存储1000万条数据mysql要7分多钟，influxDB只需2分多钟，从1000万条数据读10000条所需数据mysql要6秒多，influxDB只需0.22秒多
微服务早已是一个过时的热词，同时，容器 和 k8s 的出现让它更一步成为了一种时尚。同样会带来很多附赠的问题，日志收集就是其中一个比较重要的问题。当应用容器化之后，需要查看日志，如果还需要登录服务器，找到对应目录，然后 tail 查看，成本太高了，极大的影响效率。当前其实日志收集方案很多，在实践了多个方案之后，我终于能在今天写出我个人认为我最喜欢的一个方案了 loki
InfluxDB是一个由InfluxData开发的开源时序型数据库，专注于海量时序数据的高性能读、高性能写、高效存储与实时分析等，在DB-Engines Ranking时序型数据库排行榜上排名第一，广泛应用于DevOps监控、IoT监控、实时分析等场景。
InfluxDB（时序数据库）（influx，[ˈɪnflʌks]，流入，涌入），常用的一种使用场景：监控数据统计。每毫秒记录一下电脑内存的使用情况，然后就可以根据统计的数据，利用图形化界面（InfluxDB V1一般配合Grafana）制作内存使用情况的折线图；可以理解为按时间记录一些数据（常用的监控数据、埋点统计数据等），然后制作图表做统计；
本文将介绍如何使用JavaScript的图形库Dygraphs来动态地可视化存储在InfluxDB（时间序列数据库）中不断更新的时间序列数据。
阿里巴巴提供的控制台只是用于演示 Sentinel 的基本能力和工作流程，并没有依赖生产环境中所必需的组件，比如持久化的后端数据库、可靠的配置中心等。目前 Sentinel 采用内存态的方式存储监控和规则数据，监控最长存储时间为 5 分钟，控制台重启后数据丢失。
近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。
之前介绍了运维监控系统Prometheus，然后就有朋友问我关于时序数据库的情况，所以这里总结一下时序数据库，并以InfluxDB为例，介绍时序数据库的功能特性和使用方式，希望能对大家有所帮助。
在这个例子中，我们将在同一台机器（Ubuntu 16.04）上安装InfluxDB和Grafana，然后配置两者，以便Grafana可以可视化存储在InfluxDB中的数据。我们将使用InfluxDB版本1.3.5和Grafana版本4.4.3。
通过上期分享《实践指路明灯，源码剖析flink-metrics》，对当下较火的流式处理框架 flink 的指标监控体系有了全局的认识，并结合 flink-metrics-xxxx 模块进行深入分析，对 flink 是如何集成监控轮子了如之掌。
过去几年我一直在使用Munin作为监控工具。它效果很好，很轻，而且设置起来非常简单。
舒徐一段时间以来，我们一直在研究如何以一种简单有效的方式将系统监控和网络监控结合起来。2014年，我们对Sysdig进行了一些实验，最近，由于有了eBPF，我们对我们的工作进行了改进，以利用该技术并能够监控容器化环境。几个月前，我们已经展示了如何仅通过利用linux操作系统的某些功能，甚至不查看流量数据包，就可以检测，计数和衡量在特定主机上发生的网络活动。我们的开创性著作已发表在论文“使用eBPF结合系统可见性和安全性”。此后，我们在FOSDEM 2019上发表了“使用BPF合并系统和网络监控”的演讲，并与InfluxDB的朋友共同撰写了文章“容器时间的IT监控：进入eBPF可观察性”，除此之后还有其他活动。
先帝创业未半而中道崩殂，今监控天下三分。如下图所示，监控的天下被划分为基于 Tracing（调用链）监控、基于Metrics（指标）监控、基于Logging（日志） 的监控。
性能测试监控 1压测端监控：JMeter集群+InfluxDB存储+Grafana 在压测端，如果发现发出去的进程失败的比例比较多，可以考虑以下两种情形： 1）被测软件的性能达到瓶颈，接受不了如此多的请求。 2）压测端压测工具（比如JMeter）所运行的机器由于发送过多的线程，压测机器资源（CPU、内存、网络或者是磁盘）不够用，需要增加JMeter来解决。 这就需要在执行性能测试的时候，有对应的监控工具来监控。第1节和第3节中介绍的工具均可以达到这个功能，但是JMeter集群+InfluxDB存储+Grafana是目前最友好的监控压测端的工具组合。 JMeter集群+InfluxDB存储+Grafana环境可以安装在Windows、Linux或MAC任意操作系统下，本节以Windows为例进行讲解。 1.1下载安装InfluxDB
前言： 因为近期项目涉及到一些性能测试监控平台相关的想法 Grafana+Influxdb+Jmeter Grafana+Prometheus+Jmeter 等等 抽周末时间来尝试搭建下Grafana+Influxdb+Jmeter 主要介绍使用docker-compose.yml文件的方式进行安装，简洁明了，不用逐个去安装服务。
我们知道这种监控平台的数据特征一般都是时间序列数据（简称 时序数据），那么相应的这些数据最好是存储在时序数据库中，目前主流的时序数据库有InfluxDB、OpenTSDB、Graphite、TimescaleDB等。其中，InfluxDB是目前监控领域使用较多的时序数据库，并且基于InfluxDB有一套完善的开源解决方案 —— TICK Stack，如下图所示：
mac 用brew安装nginx 其实我主要是记录默认的几个目录的 brew install nginx Updating Homebrew... ==> Auto-updated Homebrew! Updated 3 taps (homebrew/core, homebrew/cask and caskroom/cask). ==> New Formulae buildkit gitleaks llvm@7
在需要私有化部署的系统中，大部分系统仅提供系统本身的业务功能，例如用户管理、财务管理、客户管理等。但是系统本身仍然需要进行日志的采集、应用指标的收集，例如请求速率、主机磁盘、内存使用量的收集等。同时方便的分布式系统日志的查看、指标的监控和告警也是系统稳定运行的一个重要保证。
无论你是 Linux 系统管理员或是 DevOps 工程师，你都会在监控服务器性能指标的时候花费很长时间。
前言 Docker由于使用了基于namespace和cgroup的技术，因此监控docker容器和监控宿主机在某些性能指标和方式上有一些区别，而传统的监控方式可能无法满足docker容器内部的指标监控，本篇系列文章主要分享使用telegraf+influxdb+grafana去监控docker容器内部资源使用情况。目前主要关注的监控指标为：每个宿主机上的docker容器数量，每个docker容器的内存使用情况，CPU使用情况，网络使用情况以及磁盘使用情况。同时这套方案也能够监控到宿主机的一些基本资源使用情况
随着互联网的发展，应用服务中的定时任务数量日益增加，常规的垂直应用架构已无法应对，分布式服务架构势在必行。同时，也迫切需要一个分布式任务调度系统来管理分布式服务中的定时任务。
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/86
大规模的容器技术运用从来不是一项独立工程，而是一个汇集虚拟化技术、容器编排、任务调度、操作系统、容器仓库、跨节点网络、分布式存储、动态扩缩、负载均衡、日志监控、故障自恢复等系统性难题的复杂有机体。随着 Docker 的诞生和 Google 等互联网公司的推波助澜，这个领域出现了一大批优秀的开源项目，它们在简化容器技术使用成本的同时，也经常使得刚刚接触容器时间不太长的开发者和企业用户感到不知所措。
当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。“ 消息 ”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。消息被发送到队列中，“ 消息队列 ”是在消息的传输过程中保存消息的容器 。
看了一下，网上流传的那些个小米运动刷步数源码全是JS调用别人的源码，把自己的帐号密码交给别人家，博主个人心理是不太舒服的，下面是博主参照 Github上 niushuai233 大佬的 mi-spo
1. 进入腾讯云函数创建新函数 地址:https://console.cloud.tencent.com/scf
声明：公众号文章来自团队核心成员和知识星球成员，少部分文章经过原作者授权和其它公众号白名单转载。未经授权，严禁转载！请勿利用文章内的相关技术从事非法测试，如因此产生的一切不良后果与文章作者及本公众号无关！
GaC(Grafana as Code, Grafana 即代码) 很明显是扩展自 IaC(Infrastructure as Code, 基础设施即代码)的概念.
WAF通用的权限分配就2个，QcloudWAFFullAccess和QcloudWAFReadOnlyAccess，但是往往我们想要更精细化的权限，怎么办呢？
[root@seafile ~]# yum -y install epel-release [root@seafile ~]# rpm --import http://li.nux.ro/download/nux/RPM-GPG-KEY-nux.ro [root@seafile ~]# yum -y install Python-imaging MySQL-python python-memcached python-ldap python-urllib3 ffmpeg ffmpeg-devel [root@seafile ~]# yum -y install python-pip [root@seafile ~]# pip install --upgrade pip [root@seafile ~]# pip install pillow moviepy [root@seafile ~]# yum install -y mariadb-server ##安装数据库 [root@seafile ~]# systemctl enable mariadb ##设置数据库开机启动 [root@seafile ~]# systemctl start mariadb ##启动数据库 [root@seafile ~]# mysql_secure_installation ##为数据库设置密码 [root@seafile ~]# wget http://seafile-downloads.oss-cn-shanghai.aliyuncs.com/seafile-server_6.2.3_i386.tar.gz ##下载seafile软件包 [root@seafile ~]# tar -zxf seafile-server_6.2.3_x86-64.tar.gz ##解压软件包 [root@seafile ~]# mkdir -p seafile/installed/ ##创建安装包存放位置 [root@seafile ~]# mv seafile-server_6.2.3_x86-64.tar.gz seafile/installed/ [root@seafile ~]# mv seafile-server-6.2.3/ seafile/ [root@seafile ~]# cd seafile/ [root@seafile seafile]# cd seafile-server-6.2.3/ [root@seafile seafile-server-6.2.3]# ./setup-seafile-mysql.sh ##会要填很多信息，按要求填就可以了
不知道大家有没有遇到这样的场景，就是一个项目中要消费多个kafka消息，不同的消费者消费指定kafka消息。遇到这种场景，我们可以通过kafka的提供的api进行配置即可。但很多时候我们会使用spring-kafka来简化开发，可是spring-kafka原生的配置项并没提供多个kafka配置，因此本文就来聊聊如何将spring-kafka进行改造，使之能支持多个kafka配置
直接上代码了： # -*- coding: utf-8 -*- ''' 使用kafka-Python 1.3.3模块 ''' import sys import time import json from kafka import KafkaProducer from kafka import KafkaConsumer from kafka.errors import KafkaError KAFAKA_HOST = "127.0.0.1" KAFAKA_PORT = 9092 KAFA
最近再写一个网络仿真器，里面参考了Max-MinFairness算法，这是一种比较理想、公平的带宽分配算法。其思路主要如下：首先是算法的准备，考察某一时刻的网络中所有的flow，由于每条flow都有其各个link，因此可以得到各个link上所有流经的flow，然后开始迭代，各个link都把capacity平均分给所有流经的flow，接着每条flow的速度就等于其最小link分配的带宽，然后每条link的剩余带宽就等于link的capacity减去所有流经的flow的速度的总和，再然后把link的剩余带宽作为
pandas作者Wes McKinney 在【PYTHON FOR DATA ANALYSIS】中对pandas的方方面面都有了一个权威简明的入门级的介绍，但在实际使用过程中，我发现书中的内容还只是冰山一角。谈到pandas数据的行更新、表合并等操作，一般用到的方法有concat、join、merge。但这三种方法对于很多新手来说，都不太好分清使用的场合与用途。
使用docker-compose搭建kafka集群，解析一些参数含义及列出搭建过程的一些坑。
因为CuDNN函数接口更新的原因，以前用低版本写的项目在新版本的CuDNN环境下编译就会出问题。例如，py-faster-rcnn代码在最新版的CuDNN6上面编译时就会报错。 解决这个问题的一个方法是禁用CUDNN，即修改Makefile.config里面的第5行，在前面加#。这种方法没法使用CuDNN加速，不推荐。这里我们使用一种比较土的方法，即将使用了旧的CuDNN函数的文件都换成新的caffe里面的文件即可。
将设备固定在三脚架上， 在灯箱中 触发一个full-sweep ，然后抓取haf/af 的日志。 日志的关键字： af_pdaf_proc_pd_single grid|af_pdaf_proc_pd_single roi|af_fullsweep_final|sweep_srch_far_to_near|af_fullsweep_srch_near_to_far|af_fullsweep_start_srch 从log 中可以查看 pd ，defocus 和 confidence information 。有了所有这些信息，您可以决定从传感器获得的pd 是否正确。
上一节我们介绍了Librdkafka中的任务处理队列的相关操作, 这一节我们介绍一下放入这个队列中的各种任务(也可以叫event, 也可以叫operator), 也就是各种不同类型的operator 具体的op如何处理, 我们会在后期分析具体的流程时再作深入讨论 ---- struct rd_kafka_op_s 所在文件: src/rdkafka_op.h(c) 定义: struct rd_kafka_op_s { // 加上tailq的元素域 TAILQ_ENTRY(rd_kaf
该系统由《Kafka并不难学！入门、进阶、商业实战》的作者 smartloli 开发维护，很牛掰的一位大佬。参考官网：Kafka Eagle
Grafana provider 为 Grafana 提供配置管理资源。是目前 Grafana 官方提供的，覆盖的 Grafana 资源最全的 IaC 工具。
Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。
(SELECT affairs.* FROM affairs LEFT JOIN materials_details m ON affairs.AFFAIRID = m.AFFAIRID WHERE (((m.EXAMPLEPATH IS NOT NULL AND m.EXAMPLEPATH <> '') OR (m.EMPTYTABLEPATH IS NOT NULL AND m.EMPTYTABLEPATH <> '')) AND affairs.VALID = 1 AND aff
以下是Kafka 2.6.0版本中解决JIRA问题的摘要，有关该版本的完整文档，入门指南以及关于该项目的信息，请参考Kafka官方文档。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
