多线程提升重装/重置CVM效率

原创

wainsun

发布于 2023-09-15 14:27:24

20200

代码可运行

文章被收录于专栏：伟哥专栏伟哥专栏

运行总次数：0

代码可运行

CVM重装实例中，InstanceID只能输入一个，这就会导致如果要批量重装实例的话，默认只能循环顺序重装。由于重装实例相对较为耗时，这就会导致整个队列的耗时增加。

默认创建100个测试CVM，做循环重置，耗时314秒，每个实例平均耗时3秒左右。

在python中，开启多线程方式，可以大幅提高队列的重装效率。

开启5个线程并发重装实例。所用耗时为54秒，可提升效率达82.8%

开启10个线程并发重装实例。所用耗时为29秒，可提升效率达90.7%

ResetInstance接口的QPS为10次/秒。按照每个接口执行一次所需3秒左右的时间，所以理论上最多建议使用3*10个线程跑。不过为了稳妥一些，这里就建议10个线程跑比较稳定，而且也可以大幅的缩小所需时间。

相关脚本代码如下：

import threading
import time
from ResetCVM import *
from mysql_logic import *

exitFlag = 0

insall= SelectSQL(None,"ResetCVM",Flag=0)
#这里是通过一个sql数据集获取需要重装的CVM列表，也可以通过业务逻辑得到。

dic=dict()
#这里通过一个内存数组保存ins列表信息，并通过popitem()在每次线程任务执行完毕后自动清除。确保线程队列不会将重复实例并发执行。
for i in insall:
    dic.update({str(i[1]):str(i[5])})

start_time = time.time()

class myThread (threading.Thread):
    def __init__(self, threadID, name):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
    def run(self):
        print ("重置任务开始线程：" + self.name)
        #time.sleep(1)
        print_time(self.name, 10)
        #time.sleep(1)
        print ("重置任务退出线程：" + self.name)

def print_time(threadName, counter):
    while counter:
        if exitFlag:
            threadName.exit()
        
        while len(dic)>0:    
            ins = dic.popitem()[0]
            print (ins)
            ResetCVM(ins)
        #print ("%s: %s" % (threadName, time.ctime(time.time())))
        counter -= 1

def ResetIns():
    # 创建新线程，这里根据业务需要，自定义来控制线程数量
    thread1 = myThread(1, "Thread-1")
    # 开启新线程
    thread1.start()
    thread1.join()
    print ("退出主线程")    
    end_time = time.time()
    print("耗时: {:.2f}秒".format(end_time - start_time))

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

并发