python线程池进一步认识

线程池的观念是什么？

在面向工具编程中，建设和销毁工具是很费时间的，因为建设一个工具要获取内存资源可能其它更多资源。在Java中更是如此，虚拟机将试图跟踪每一个工具，以便可以或许在工具销毁后举办垃圾接纳。所以提高处事措施效率的一个手段就是尽大概淘汰建设和销毁工具的次数，出格是一些很耗资源的工具建设和销毁。如何操作已有工具来处事就是一个需要办理的要害问题，其实这就是一些"池化资源"技能发生的原因。

我领略为线程池是一个存放许多线程的单元，同时尚有一个对应的任务行列。整个执行进程其实就是利用线程池中已有有限的线程把任务行列中的任务做完。这样做的长处就是你不需要为每个任务都建设一个线程，因为当你建设第100个线程来执行第100个任务的时候，大概前面已经有50个线程竣事事情了。因此反复操作线程来执行任务，淘汰系统资源的开销。

一个不怎么得当的比喻就是，有100台电脑主机箱需要从1楼搬到2楼，你不需要喊来100人资助搬，你只需要叫十个可能二十小我私家就足以，每小我私家分派十个可能五个甚至是谁搬的快谁就多搬知道完成未知。（这个比喻仿佛。。。。。）

不管如何吧，概略上领略了线程池的观念。那么怎么用python实现呢？

代码如下

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
    def __init__(self, work_num=1000,thread_num=2):
        self.work_queue = Queue.Queue()
        self.threads = []
        self.__init_work_queue(work_num)
        self.__init_thread_pool(thread_num)
    """
        初始化线程
    """
    def __init_thread_pool(self,thread_num):
        for i in range(thread_num):
            self.threads.append(Work(self.work_queue))
    """
        初始化事情行列
    """
    def __init_work_queue(self, jobs_num):
        for i in range(jobs_num):
            self.add_job(do_job, i)
    """
        添加一项事情入队
    """
    def add_job(self, func, *args):
        self.work_queue.put((func, list(args)))#任务入队，Queue内部实现了同步机制
    """
        查抄剩余行列任务
    """
    def check_queue(self):
        return self.work_queue.qsize()
    """
        期待所有线程运行完毕
    """  
    def wait_allcomplete(self):
        for item in self.threads:
            if item.isAlive():item.join()
class Work(threading.Thread):
    def __init__(self, work_queue):
        threading.Thread.__init__(self)
        self.work_queue = work_queue
        self.start()
    def run(self):
        #死轮回，从而让建设的线程在必然条件下封锁退出
        while True:
            try:
                do, args = self.work_queue.get(block=False)#任务异步出队，Queue内部实现了同步机制
                do(args)
                self.work_queue.task_done()#通知系统任务完成
            except Exception,e:
                print str(e)
                break
#详细要做的任务
def do_job(args):
    print args
    time.sleep(0.1)#模仿处理惩罚时间
    print threading.current_thread(), list(args)
if __name__ == '__main__':
    start = time.time()
    work_manager =  WorkManager(10, 2)#可能work_manager =  WorkManager(10000, 20)
    work_manager.wait_allcomplete()
    end = time.time()
    print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类：WorkManager和Work，前者确实如定名所示，是一个打点者，打点线程池和任务行列，尔后者就是详细的一个线程。

它的整个运行逻辑就是，给WorkManager分派拟定的任务量和线程数，然后每个线程都从任务行列中获取任务来执行，直到行列中没有任务。这内里也用到了Queue内部的同步机制（至于是啥同步机制今朝还没去研究）。

总结一下这样一个线程池的浸染，对付我原来的目标其实这个对象是永不上的，因为我需要在web页面来节制线程的启动和遏制，而这个线程池看起来只是用来并发完任务的。不外我想固然在节制线程方面没有浸染，可是它的并发执行任务的浸染照旧蛮不错，或者可以用在爬网页的部门。

当前位置：以往代写 > Python教程 >python线程池进一步认识