Software Engineering Note

벌써 2022년도 다 갔구나. 올해 초부터 같이 일한 멤버들이 빠지는 한 해였다. 각자가 다른 이유로 자신의 길을 갔다. 착잡한 기분도 들었지만, 또 그게 서로를 위한 길이기에 이해가 되었다. 하지만, 역시 사람이 빠지는 건 마냥 괜찮을 수는 없었던 일이었다. 그래도 생각보다 빨리 원 상태로 돌아온 것 같다. 다시 손 발을 오래 맞춰왔던 멤버들만 남았다. 몇 년 동안 같은 시스템을 운영하고 있는데, 계속해서 할 일이 있는 건 참 신기하고도 재미있는 부분이다. 어떤 일은 부탁을 받기도 하고, 어떤 일은 스스로 만든다. 몇 번 문의를 받다 보면 자동화할 수 없는지를 계속 고민하게 된다. 그러다 보면 다시 할 일이 되는 것이다. 성취하면 또 뿌듯함을 얻게 되고. 성장도 한다. 좋은 루틴이라 생각한다. 올 해는..

저는 올해로 12년 차 개발자입니다. 최근 어떤 계기로 사회에 진출하려는 분들의 고민을 듣게 되었고 조금이나마 도움이 되고자 글을 씁니다. 개발자를 위한 조언은 여기저기서 쉽게 얻을 수 있지만, 정보는 많을수록 좋으므로 오늘 그 주제에 하나의 글을 더 추가하려 합니다. 이 역시 개인적인 의견이므로 참고만 하시길 바랍니다. 1. 백문이 불여일타 일단, 많이 만들어봐야 합니다. 거창한 거 말고 할 수 있는 것부터 만들어보세요. 아주 간단한 거라도 괜찮습니다. 저는 대학 때 게임 제작 동아리에서 활동했습니다. 숫자 3,6,9 게임 같은 것을 시작으로 테트리스도 직접 만들어봤습니다. 나중에는 비행 슈팅 게임도 만들게 되었습니다. 물론, 결과물 자체만 보면 하찮죠. 이미 흔한 것이고요. 훈련에 의미를 둬야 합니다..

얼마 전 조직장이 되었을 때 두려움이 크게 앞섰다. 조직을 떠나는 이전 조직장에 비해 내 실력이 부족하다는 것을 잘 알았기 때문이다. 하지만 이런걸 신경 쓸 사이도 없이 처리해야 할 이슈들이 생겨났고 그건 마치 자격시험처럼 느껴졌다. 어쨌든 여기까지 왔고 걸어온 길에는 동료들이 있다. 이 책이 타임라인에 보인 것은 참 시기적절했다. 책 제목대로 매니저의 역할이 주된 내용이고 뒤로 갈수록 더 높은 직책으로 이어진다. 아직 쪼랩이라 당장 필요한 내용보다는 앞으로 필요할 때마다 참고할 내용이 많은 것 같다. 번역서라 그런지 난해한 문장이 등장하는 것은 감안해야 할 부분... 테크리드, 그게 지금 내 역할 같다.

파일 다운로드 > 압축 해제 > hdfs 업로드 > hdfs to storage 업로드 이런 플로우로 데이터를 처리할 일이 있었다. (n = 0 ... ?) shell script로 구현을 하고 돌려보는데 속도가 너무 느렸다. 어디가 병목일까? 보니 압축 해제하는 부분이 특히 느렸다. 그래서 그 부분부터 병렬화 하기로 했다. 병렬화는 script 파일을 나누고 백그라운드(&) 로 돌리면 된다. ex) hdfs_uploader.sh ... & 여기서 다시 아래와 같은 문제가 발생했다. 1) unzip 하는 작업이 많아지면 cpu를 너무 많이 차지한다. 2) storage upload 작업이 너무 빈번해지면 문제가 된다. 이제 다시 한 번 정리를 해보자. 1) 파일 다운로드는 빠르다. 문제없는 부분 2) u..