python 线程池的对象 和 最大任务书爬取代码

日期:2021-02-16 15:50 来源:原创 作者:小霍 点击:

if __name__ == '__main__':
    #threadpoolexcutor 线程池的对象
    #max_workers 最大任务数
    """url = 'https://www.doutula.com/photo/list/'
    main(url)"""
    executor= concurrent.futures.ThreadPoolExecutor(max_workers=3)
    for page in range(1,100):
        url=f'https://www.doutula.com/photo/list/?page={page}'
        #submit 往线程池里面添加任务
        executor.submit(main,url)
    executor.shutdown()
标签:

Copyright © 2019.Company name All rights reserved. 冀ICP备14010059号-4 网站地图