java.lang.OutOfMemoryError: unable to create new native thread

지난번에 Search관련해서 이슈가 있었는데 

오늘 on call로 연락온 내용을 review 하다 보니 같은 이슈가 production 에도 발생했던 걸로 보인다.

예전에 메일을 찾다보니 운호선임이 잘 정리 해 놓은게 보여서 다음번에 필요할 듯 해서 정리 해 놓는다. 

( Thanks Unho ) 

It occurred by limit of max user processes on server configuration.

Check

Check limit of max user processes

[central@01 ~]$ ulimit -u

Check count of processes by elasticsearch

[01 ~]$ ps -eLf | grep elasticsearch | wc -l

728

How to solve 

Update /etc/security/limits.conf

...

<account> soft nproc 30000

<account> hard nproc 30000