数据与日志相关问题

为什么控制台流量数据与从日志中统计而来的流量数据对不上？

通过站点加速访问日志EdgeResponseBytes字段中记录的字节数统计而来的流量数据与控制台展示的流量数据、计费流量数据可能不一致。原因如下：

访问日志中仅可记录应用层数据，在实际网络传输中，产生的网络流量要比纯应用层流量多 5% - 15%。由两部分组成：

• TCP/IP 包头消耗，基于 TCP/IP 协议的 HTTP 请求，每一个包的大小最大是1500个字节，包含了 TCP 和 IP 协议的 40-60 个字节的包头，包头部分会产生流量，但是无法被应用层统计到，这部分的开销大致为 3-4 %左右。
• TCP 重传，正常网络传输过程中，发送的网络包会有 3-10% 左右会被互联网丢掉，丢掉后服务器会对丢弃的部分进行重传，此部分流量应用层也无法统计，占比约为3% - 7%。

为何腾讯云可观测平台告警和产品控制台内数据分析有时会出现不一致的波动？

腾讯云可观测平台告警要求较高的实时性，而产品控制台的数据分析模块要求较丰富的多维度统计分析。为了分别满足这两种数据需求，EdgeOne 分别采用了不同的数据采集和统计方式，两个数据源在整体指标趋势上保持一致，但是在一分钟粒度的指标值可能存在不一致的情况，具体差异点参考如下示例：

• 腾讯云可观测平台数据源：采集自边缘节点机器根据用户请求汇聚成域名维度的分钟粒度数据，不受用户数突发影响，量级稳定，具有更高的实时性，但统计指标仅覆盖域名维度的关键用量指标，例如域名维度的流量，请求数等指标。
• 控制台数据分析：采集自用户每次请求产生的原始日志进行实时分析，请求会在用户请求完成后打印，受用户数突发的影响，量级不稳定，实时性较弱，但包括丰富的数据维度指标，例如设备类型，浏览器类型维度的流量、请求数等指标。 例如：一个用户请求一个1GB文件，假设用户10:00:00开始下载，100秒下载完成。
• 腾讯云可观测平台数据：每台边缘机器会在每分钟内的某个时刻上报一次监控指标，该请求的统计指标会落在10:01，10:02两个分钟内。
• 控制台数据：每台边缘机器会在用户请求结束时间10:01:40打印一条日志，最终统计值会落在10:01分钟上。 因此，由于统计规则的差异，导致腾讯云可观测平台数据和产品控制台数据在某一分钟粒度上会存在不一致