Software Engineering Note

파일 다운로드 > 압축 해제 > hdfs 업로드 > hdfs to storage 업로드 이런 플로우로 데이터를 처리할 일이 있었다. (n = 0 ... ?) shell script로 구현을 하고 돌려보는데 속도가 너무 느렸다. 어디가 병목일까? 보니 압축 해제하는 부분이 특히 느렸다. 그래서 그 부분부터 병렬화 하기로 했다. 병렬화는 script 파일을 나누고 백그라운드(&) 로 돌리면 된다. ex) hdfs_uploader.sh ... & 여기서 다시 아래와 같은 문제가 발생했다. 1) unzip 하는 작업이 많아지면 cpu를 너무 많이 차지한다. 2) storage upload 작업이 너무 빈번해지면 문제가 된다. 이제 다시 한 번 정리를 해보자. 1) 파일 다운로드는 빠르다. 문제없는 부분 2) u..

CRDTs with Akka Distributed Data - akka 는 분산된 환경에서 데이터 일관성을 어떻게 지원하는가- CAP 이론도 살짝 나온다. https://www.slideshare.net/markusjura/crdts-with-akka-distributed-data 좋은 자료다.

데이터 엔지니어 생각해보니 내 경력이 데이터 엔지니어에 해당하는 것이었다.데이터 저장과 조회를 위한 시스템을 개발하고 있고 저장소를 운영하고 있다.점점 더 도전적인 이슈를 처리하고 있는 것 같다. 머리는 아프지만 성장하고 있는거라고 믿는다. 그외, 공채신입 멘토링 코드페스티벌- http://tech.kakao.com/2018/09/12/code-festival-2018-round-2/ 2019년 신입공채- http://tech.kakao.com/2018/09/21/kakao-blind-recruitment-for2019-round-1/ 그리고 코딩 인터뷰어를 시작했다. 내년에는 데이터 엔지니어가 갖춰야할 지식과 경험을 더 쌓아야겠다.좋은 인터뷰어가 되기 위한 노력도 더 많이 해야겠다. 그리고 두 번째 번..