#review AWS + Tajo를 이용한 '테라 렉 로그 분석 이야기'

클라이언트 로그 수집할 때, 참고로 쓸 수 있는 좋은 발표. 로그 사이즈 때문에 클라이언트 로그를 수집하는 게 상당히 부담스러운 일인데, AWS를 사용하면 할 만하다. 하루에 5억건. 500GB 정도가 로그로 쌓인다.

/pnotes/assets/2016-09-25-aws-tajo-tera-lag-log-1.png

예상 로그 크기는 시간당 약 6GB.

/pnotes/assets/2016-09-25-aws-tajo-tera-lag-log-2.png

비용 때문에 API Gateway, Lambda 사용 대신 Kinesis 사용

/pnotes/assets/2016-09-25-aws-tajo-tera-lag-log-3.png

/pnotes/assets/2016-09-25-aws-tajo-tera-lag-log-4.png

Kinesis Firehose로 수집과 압축 과정을 더 간편하게 처리할 수 있다.

/pnotes/assets/2016-09-25-aws-tajo-tera-lag-log-5.png

SQL로 분석할 수 있게 하려고 타조(Tajo) 사용.

발표


크리에이티브 커먼즈 라이선스
Feedback plz <3 @ohyecloudy, ohyecloudy@gmail.com
|