Rate Limit

지난 2년간 Main으로 했던 일이 , Google의 DSP서비스인 DV360와 TTD API integration이었다.

Integration script를 계속 관리해오고 있었지만, 새로운 Integration을 진행한 건 처음인 것 같다.

 

일단 계속 integration account를 늘려오면서 성능 이슈가 많이 발생해서
( 특히 DV360는 Client Library를 제공하는데.. 이게 Concurrent를 고려하지 않고 개발되었다.)

수정을 해왔는데.. 어느 순간엔가 갑자기 TTD integration script가 느려진게 보인다.

 

마침 여유가 생겨 체크해보니 Data pulling하는 중에 Rate Limit으로 Pulling이 Fail 하면서 벌어지는 일이었다.

Thread도 조절해보고 PageSize도 조절해 봐도 해결이 잘 안되서 마지막으로 internet search를 해보니 

딱 내 상황에 맞는 Article이 나온다. 더군다나 Scala 코드...

 

https://itnext.io/handling-rate-limits-with-scala-futures-8904538bca7f

Handling Rate-Limits with Scala Futures

읽다가 저자 얼굴을 보니 작년에 다른 회사로 이직한 John 이다.

 

회사에서 종종 seminar도 진행하고 글도 많이 쓰는 건 알고 있었지만 

오랜만에 글로 보니 반갑고.. 뭐 그렇다. :-) 

 

어쨋든 오랜 친구(?)의 조언 덕분에 Rate Limit 이슈는 해결이 되는데..

 

나도 가끔은 이런 기술적인 Blog도 좀 작성하고 해야 하지 않나 하는 생각이 좀 든다..