Tomcat线程池,更符合大家想象的可扩展线程池

因由

说起线程池,大家可能受连接池的印象影响,天然的认为,它应该是一开始有core条线程,忙不过来了就扩展到max条线程,闲的时候又回落到core条线程,如果还有更高的高峰,就放进一个缓冲队列里缓冲一下。

有些整天只和SSH打交道的同学,可能现在还是这样认为的。

无情的现实就是,JDK只有两种典型的线程池,FixedPool 与 CachedPool:

  • FixedPool固定线程数,忙不过来的全放到无限长的缓冲队列里。
  • CachedPool,忙不过来时无限的增加临时线程,闲时回落,没有缓冲队列。

Java ThreadPool的正确打开方式里,建议了如何设置,避免上面两句吓人的“无限”。但无论怎么配,都无法用现成的东西,配出文章一开始的想象图来。

但不得不说,这幅想象图还是比较美好的,特别对于偶有卡顿,偶有不可预测高峰的业务线程池来说。

当然,也有人说请求积压在最后的缓冲队列里不好控制,看具体业务场景了,缓冲队列也有不同的玩法(后详)。

 

原理

我们的同事老王,研究了一番ThreadPool的机制后,提出了自己实现队列的方式。碰巧,Tomcat也正是这么做的,比起Jetty完全自己写线程池,Tomcat基于JDK的线程池稍作定制,要斯文一些。

JDK线程池的逻辑很简单( 更详细描述还是见Java ThreadPool的正确打开方式

- 前core个请求,来一个请求就创建一个线程。
- 之后,把请求插入缓冲队列里让所有的线程去抢;如果插入失败则创建新线程。
- 如果达到max条线程了,抛出拒绝异常。

貌似控制的枢纽都在第2句那里--队列插入的结果。JDK也是通过使用LinkedBlockingQueue 与 特殊的SynchronousQueue,实现自己的控制效果。

那我可不可以自己封装一个Queue,在插入时增加以下逻辑呢?

  • 如果当前有空闲线程等待接客,则把任务加入队列让孩儿们去抢。
  • 如果没有空闲的了,总线程数又没到达max,那就返回false,让Executor去创建线程。
  • 如果总线程数已达到max,则继续把任务加入队列缓冲一下。
  • 如果缓冲队列也满了,抛出拒绝异常。

说白了就是这么简单。

 

Tomcat的实现

Tomcat的TaskQueue实现:

public class TaskQueue extends LinkedBlockingQueue {

@Override

public boolean offer(Runnable o) {

if (parent . getPoolSize() == parent . getMaximumPoolSize()) return super . offer(o);

if (parent . getSubmittedCount() < parent.getPoolSize()) return super . offer(o);

if (parent . getPoolSize() < parent . getMaximumPoolSize()) return false;

return super.offer(o);

}

}

非常简单的代码,唯一要说明的是,如何判断当前有没有空闲的线程等待接客。JDK的CachedPool是靠特殊的零长度的SynchronousQueue实现。而Tomcat则靠扩展Executor ,增加一个当前请求数的计数器,在execute()方法前加1,再重载afterExecute()方法减1,然后判断当前线程总数是否大于当前请求总数就知道有咩有围观群众。

 

更进一步

因为相信Tomcat这种百年老店,我们就不自己写这个池了,把Tomcat实现里一些无关需求剥掉即用。

但Tomcat就完美了吗?

首先,TaskQueue的offer()里,调用了executor.getPoolSize(),这是个有锁的函数,这是最遗憾的地方,在大家都在嫌线程池里一条队列锁得太厉害,像ForkJoinPool或Netty的设计都是一个线程一个队列时,这个有锁的函数相当碍眼。而且,最过分的是,Tomcat居然一口气调了三次(在Tomcat9 M9依然如此)。反复看了下,不求那么精准的话貌似一次就够了,真的有并发的变化的情况,executor里还有个处理RejectException,把任务重新放回队列的保险。

最后,说说缓冲队列的两种玩法:

一种是队列相对比较长,比如4096,主线程把任务丢进去就立刻返回了,如果队列满了就直接报拒绝异常。

一种是队列相对比较短的,比如512,如果满了,主线程就以queue.force(command, timeout)等在那里等队列有空,等到超时才报拒绝异常。

Tomcat的机制支持这两种玩法,自己设置就好。

 
文章可能还要修改,转载请保留原文链接,否则视为侵权:
http://calvin1978.blogcn.com/articles/tomcat-threadpool.html

一只Tomcat:

有关的...

This entry was posted in 技术 and tagged . Bookmark the permalink.

6 Responses to Tomcat线程池,更符合大家想象的可扩展线程池

  1. 啊锴 says:

    我是来看配图的

  2. lx says:

    真棒,TOMCAT里面还有这么个扩展,从没想过自己去扩展下,只是在了解了JDK线程池的机制后去避免一些坑儿

  3. 匿名 says:

    我是来看图的

  4. chain says:

    之前在公众号里也写过一篇关于线程池的。http://mp.weixin.qq.com/s?__biz=MzI3MTEwODc5Ng==&mid=403055165&idx=1&sn=b6732596c9e9c75dacb21aa279f8e650#rd
    对于Tomcat的线程池,在Connector中的配置中backlog是起队列最大长度的限制,而NIO实现的Connector中直接将最大backog设置成10000了。

  5. 魏书斌 says:

    老师好,看了你的这两篇线程池的文章受益匪浅.
    有个疑问想请教下,如何设置coreSize和maxSize大小?
    coreSize设置太小,不能充分利用CPU,maxSize设置太大,增加线程切换时间.

  6. afred says:

    白衣大大的配图,从哪儿来的

发表评论

您的电子邮箱不会被公开。

您可以使用这些 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>