【云原生 • Prometheus】图解Prometheus数据抓取原理

ScrapePools 是单个的Job的抓取目标的工作单位：
type scrapePool struct {
 //存储指标
 appendable storage.Appendable
 //一个scrapePool对应一个job，config即为该job配置
 config *config.ScrapeConfig
 // 基于job配置生成http请求客户端工具，比如封装认证信息等
 client *http.Client
 //每个target都会生成一个loop
 loops          map[uint64]loop
 //target_limit检查
 targetLimitHit bool
 //relabe后有效的采集点
 activeTargets  map[uint64]*Target
 //relabel后无效采集点
 droppedTargets []*Target
 //生成scrapeLoop工厂函数
 newLoop func(scrapeLoopOptions) loop
}

scrapePools   map[string]*scrapePool

func (sp *scrapePool) Sync(tgs []*targetgroup.Group) 

var all []*Target
sp.droppedTargets = []*Target{}
for _, tg := range tgs {
 //基于targetgroup.Group构建target集合
 targets, err := targetsFromGroup(tg, sp.config)
 if err != nil {
  level.Error(sp.logger).Log("msg", "creating targets failed", "err", err)
  continue
 }
 for _, t := range targets {
  if t.Labels().Len() > 0 {//relabel后符合要求的采集点
   all = append(all, t)
  } else if t.DiscoveredLabels().Len() > 0 {//relabel后不符合要求的采集点：废弃
   sp.droppedTargets = append(sp.droppedTargets, t)
  }
 }
}

type Target struct {
 //服务发现标签，即未经过relabel处理的标签
 discoveredLabels labels.Labels
 //经过relabel处理之后标签
 labels labels.Labels
 //http请求参数
 params url.Values
    //采集点状态：up、down、unknown
 health             TargetHealth
}

type loop interface {
 run(interval, timeout time.Duration, errc chan<- error)
 setForcedError(err error)
 stop()
 getCache() *scrapeCache
 disableEndOfRunStalenessMarkers()
}

if _, ok := sp.activeTargets[hash]; !ok {
    //生成targetScraper，其中封装了Target和client
 //Target封装了采集点请求IP、端口、请求参数等信息，通过这些信息构建HTTP请求Request
 //client是封装了认证信息的http请求客户端工具，用于将http请求request发送出去
 s := &targetScraper{Target: t, client: sp.client, timeout: timeout}
 l := sp.newLoop(scrapeLoopOptions{
  target:          t,
  scraper:         s,
  limit:           limit,
  honorLabels:     honorLabels,
  honorTimestamps: honorTimestamps,
  mrc:             mrc,
 })
   ...
}

if _, ok := sp.activeTargets[hash]; !ok {
    //sp.activeTargets不存在则表示新发现的采集点，则创建scrapeLoop
 
    //生成targetScraper，其中封装了Target和client
 //Target封装了采集点请求IP、端口、请求参数等信息，通过这些信息构建HTTP请求Request
 //client是封装了认证信息的http请求客户端工具，用于将http请求request发送出去
 s := &targetScraper{Target: t, client: sp.client, timeout: timeout}
 l := sp.newLoop(scrapeLoopOptions{
  target:          t,
  scraper:         s,
  limit:           limit,
  honorLabels:     honorLabels,
  honorTimestamps: honorTimestamps,
  mrc:             mrc,
 })

 sp.activeTargets[hash] = t
 sp.loops[hash] = l

 uniqueLoops[hash] = l
} else {
    //sp.activeTargets存在则可能：
    //1、重复的采集点：直接忽略即可
    //2、之前发现并启动的采集点：设置uniqueLoops[hash] = nil，则后续启动loop时不用启动
    
 //target在sp.activeTargets已存在，但是uniqueLoops不存在，说明该采集点之前就被发现过并被启动，当前发现的和之前一致未变
 //uniqueLoops[hash] = nil表示当前还是存在，但是不需要启动，后面对于sp.activeTargets存在但是uniqueLoops中不存在的采集点，则为采集点消失，需要停止loop并移除掉
 if _, ok := uniqueLoops[hash]; !ok {
  uniqueLoops[hash] = nil
 }
 sp.activeTargets[hash].SetDiscoveredLabels(t.DiscoveredLabels())
}

for hash := range sp.activeTargets {
 //uniqueLoops存储当前抓取job所有有效采集点，不在该集合中的采集点需要停止并移除，如之前存在的采集点，但是当前又消失不见的采集点
 //uniqueLoops中value=nil的是不需要启动，之前服务发现过并被启动的；value不是nil则表示需要启动
 if _, ok := uniqueLoops[hash]; !ok {
  //移除
  wg.Add(1)
  go func(l loop) {
   l.stop()
   wg.Done()
  }(sp.loops[hash])

  delete(sp.loops, hash)
  delete(sp.activeTargets, hash)
 }
}

type scraper interface {
 scrape(ctx context.Context, w io.Writer) (string, error)
 Report(start time.Time, dur time.Duration, err error)
 offset(interval time.Duration, jitterSeed uint64) time.Duration
}

for _, l := range uniqueLoops {
 if l != nil { 
  go l.run(interval, timeout, nil)
 }
}