가장 친한 친구 중 한 명인 수빈이의 회고록을 보고, 앞으로 매년 쓰면서 나를 돌아보는 시간을 가지고 싶다는 생각을 했다. ( https://ansubin.com/ ) Super Genius 하고 자랑스러운 친구다.
매년 느끼는 감정인 "올해 정말 빨리 지났다"를 어김없이 느끼는 한 해였다.
2016년에 대학교에 처음 입학해서 와.. 이렇게 바빠도 되는 걸까 하던 시절, 2017-2018 연등시간을 쪼개가며 공부하던 시절, 2019년에 복학생으로 학교에 적응을 다시 하던 시절, 2020년부터 유학을 준비하면서 학교/연애/연구/동아리를 저글링 하던 시절, 2021년에 유학 지원하던 시절 모두 느꼈던 감정이다. "내년에는 덜 바쁘겠지? 내년에는 올해보다는 덜 바쁘고 여유롭게 살아야지. "
결국은 매년 최고 바쁜 것을 갱신하고 거기에 적응된 후에 다시 내년에는 덜 바쁘겠지를 반복한다. 그래서 올해는 그런 생각을 덜해보려고 한다. "내년에도 바쁘겠지"
올해(2022년)에 같이 소통했던, 같이 있던 사람들에게 감사의 말을 먼저 드리고 싶다.
1. 결혼
올해 한 일 중 가장 잘한 일이고 큰 일이다. 결혼 준비 과정이 복잡하다고 말로만 들었지만, 실제로 해보니 더더더더 복잡했다. 하지만 우리 부부는 미국에서 공부를 할 예정이었기 때문에 혼수나 집을 마련할 이유가 없었다. 웨딩스냅을 찍고, 결혼식장을 알아보고, 여러 가지... 사람들도 많이 만났다.
1학기에 나는 회사 / 졸업 / 논문을 작성하고 있었고, 아내도 석사 논문을 작성하고 있었기 때문에 더더욱 결혼 준비를 할 때 리스트를 작성해가며 꼼꼼하게 했다. MBTI P인 나에게는 있을 수 없는 일인 노션에 해야 할 일들을 정리하고 체크하기를 하고 있던 것이다. ㅋㅋㅋ
고등학교 때부터 엄청 친했고 유학까지 같이 준비하고 공부도 같이 많이 한 태균이가 사회를 봐줬다. 다시 한번 고맙다. (결혼식 영상 1, 결혼식 영상 2) 두 영상 모두 유쾌한 영상이니 한번 보는 것을 추천한다. 별개로 태균이의 유튜브도 추천한다. (내가 많이 나온다 ㅋㅋ)
다시 한번 결혼 축하해주신 분들 감사하고, 재밌고 즐겁게 같이 삶을 꾸려나가 볼까 합니다. 혼자가 아니라 둘이고, 같이 삶을 설계할 수 있기 때문에 너무나도 신이 난다. 아내랑 같이 미래를 잘 헤쳐나가겠습니다.
2. 학부 마무리
드디어 학부를 마무리했다.
수업
매 학기 많은 학점을 들었는데, 마지막 학기인 9학기차에는 4학점만 들었다. 학교에서 수영 1학점, 캡스톤 프로젝트 3학점을 들었다. 회사랑 병행해야 했기 때문에, 수영 이외에는 수업을 가지는 않았다. 청강으로 (자료 / 영상)는 물리를 좀 공부했고, 딥러닝의 고전(이라 해봐야 2020년) 이론들을 공부했다. 졸업논문은 기존에 냈던 논문들을 엮어서 냈다.
학부를 다니면서 매 학기 거의 21학점을 꽉 채워서 들었고, 교양 과목은 1학년 이후에 거의 듣지 않았다. 즉 매 학기 7 전공과 여러 청강을 소화했었다. 올해는 그렇지 않았기 때문에 학교가 너무 즐거웠다.
짧은 회고
많은 사람을 만날 수 있어서 좋았고, 학교에서 아내와 추억을 쌓을 수 있어서 좋았다. 서울대학교 통계학과 / 수리과학부 / 컴공 / JAME 밴드부 / Ryu Optimization Lab / Biostatistics Lab / 기타 저랑 마주칠 수 있던 인연들 하나하나가 소중했던 거 같고 많이 배워 간다. 고등학교를 졸업할 때랑 매우 다른 기분이다.
3. ML Theory Korea (링크)
소개 및 계기
지난 1년간 가장 공들인 작업이다. 우리나라에 머신러닝이나 딥러닝을 하는 사람은 엄청 많은데, 이론을 하는 사람은 너무나도 적다고 느껴졌다. 서울대의 대부분 랩들은 응용을 하는 랩들이고, 그래서 응용 쪽에서의 서울대의 랩들이나 카이스트 랩은 매우 좋다고 생각한다. 논문 실적도 잘 나오고, 엄청나게 뛰어난 사람들도 많고, ML 내에서 어떤 응용분야를 해도 같은 분야를 하는 사람을 찾을 수 있다.
그런데 이론 쪽에서는 그렇지 않다. 한국 내에서도 이론을 하는 랩은 손에 꼽는다. 그리고, 이론 하는 사람들이 생각보다 서로서로 소통을 많이 하지 않는다. 그래서, 그런 소통을 하는 곳을 만들고 싶었다. 좀 더 목표를 크게 말하면, 여기서 자생적으로 이론 연구가 진행되고 서로서로 도움이 되는 그룹을 만들고 싶었다.
현재 한국 내에서 내가 아는 사람들은 내 선후배들밖에 없고, 따라서 일단 그 사람들과 함께 이 group을 시작했다. 당연히 나와 가까운 선후배들이기 때문에 지식이 많이 없었고, 따라서 초반에는 세미나를 중심적으로 진행했다. 점점 사람들이 알음알음 들어오게 되어서 현재 100명 정도를 유지하고 있다.
세미나 했던 것들
Deep learning theory (Tengyu Ma), RLtheorybook (AJKS), Causal Inference (Judea Pearl), Information Theory (John Duchi), RL Paper seminar (theory based), Riemannian optimization, Optimization for ML (Chi Jin), Multi-agent reinforcement learning paper seminar, Graph Neural Network paper seminar, bandit algorithm seminar를 진행했다. 많은 세미나를 진행했고, 여름에 각자의 논문 발표회를 진행했다. 현재 진행되고 있는 online learning seminar와 앞으로 진행될 diffusion model seminar / self-supervised learning seminar도 매우 기대가 된다.
세미나 하면서 나도 많이 배웠고, 시야를 많이 넓힌 것 같다. 가장 적극적으로 참가했고, 유튜브로 기록을 남겨두었다.
연구
이 그룹에서 여러 연구를 시작했다. 올해에 퍼블리시를 몇 개 할 수 있으면 좋겠다. 퍼블리시하는 주제들은 나중에 블로그로 포스팅을 할 예정이다.
전반적으로 운영에 힘을 많이 썼고, 매우 뿌듯하다. 앞으로도 이런 그룹을 유지하고 계속 연구를 진행하고 싶다.
4. 네이버 AI lab
입사 과정은 사실 여러 지인들에게 이야기했다. 스펙타클한 방법으로 입사를 하게 되었다.
때는 12월... 딥러닝의 딥도 모르던 시절에 네이버에 합격했다. 무턱대고 Diffusion Model 공부를 시작했다. diffusion study를 공부하던 그룹에 들어갔다. 동시에 여러 주제를 탐색했다.
Scoop
쓰던 논문 2개를 스쿱당했다. 스쿱 당했다고 꾸준히 주장하지만, 실제로는 내가 그냥 늦은 것이다. 1월 정도까지 디퓨전을 공부하니 어느 정도 최신 논문들까지 모두 섭렵을 했던 상태였다. 그래서 여러 주제들을 제시했고 실제로 adversarial attack purifying으로 첫 번째 diffusion project를 시작했다. 아이디어는 diffusion 모델을 이용해서 공격(당한 지 안 당했는지 모르는)당한 이미지를 다시 원래의 pure 이미지로 돌릴 수 없을까였다. 파일럿 실험 결과도 나쁘지 않았고 어느 정도 big model에서 해봐야겠다는 생각을 했다. 하지만, 이후 4월에 아카이브에 Icml에 제출된 논문을 확인하게 되었고, 나의 아이디어랑 완벽하게 동일했기 때문에 그냥 논문을 포기하기로 했다.
두 번째는 latent space based diffusion이다. stable-diffusion이랑은 관계가 없다. latent space의 정보가 특히 diffusion에서 불명확했기 때문에, 특정 class가 특정 latent space에 있을 수 있도록 diffusion 모델을 구성했다. 실제로 너무 실험도 괜찮게 잘 되었다. 하지만 이 논문도 3월에 진행하다가 4월에 심지어 아카이브도 아니고 오픈리뷰 홈페이지에서 우연히 withdrawn submission에 비슷한 실험이 있다는 것을 알게 되었다. 바로 저자들에게 메일을 넣어서 나의 실험결과들을 첨부해서 알려주었다. 답장이 없었고, 아마 그 그룹에서 같이 실험을 하고 싶지 않아 하는 것 같아서, 그냥 포기했다.
이후 뉴립스 submission까지
이후 diffusion을 그만두고 다시 원래 하고 싶었던 cutmix의 분석을 하게 되었다. cutmix 저자인 윤상두 님을 멘토로 같이 연구를 했고, 정말 많은 도움을 주셨다. diffusion에 대해서도 많은 조언을 해주셨고, 전반적으로 내가 성장하는데 엄청 도와주셔서 감사하다는 인사를 전달드리고 싶다.
네이버 내부 발표에서 cutmix의 이론적 분석을 발표했다. 이후에 전상혁 님이 참가하게 되었다. 진짜 두 분과 일하면서 시니어가 어떤 의미인지, 그리고 왜 지도가 중요한지 알게 되었다. 기회가 된다면 한 번 더 일하고 싶다. 내가 주제를 잘 탐색해서 한국에 왔을 때 한두 달 정도 방문 연구자로 같이 일을 하고 싶다.
결국 네이버에서 뉴립스 논문을 내게 되었고 (논문링크) 좋은 경험으로 마무리했다.
1784 네이버 신사옥
진짜 멋있는듯..!! 좋은 회사다 정말
5. [네이버 x 업스테이지] 네이버 부스트캠프 3/4기:
감사하게 지인의 소개로 멘토링을 시작하게 되었다. 컴퓨터 비전 분야 멘토링을 했고, 이 멘토링을 내가 준비하면서 많은 성장을 한 것 같다.
일주일에 2시간씩 멘토링을 진행했는데, 이외에도 많은 세션들을 개인적으로 준비했다. 이 근방 때 폭발적으로 많은 지식들을 습득했는데, 이 지식들을 더 잘 습득하기 위해서 멘토링하는 분들에게 계속 소개하는 시간을 가졌다.
팀 프로젝트들을 잘 멘토링했던 거 같고, 내가 맡았던 팀들에 대해서는 매우 좋은 결과를 얻었다고 생각한다.
사실 나는 컴퓨터 비전 전공자가 아니라서 처음에 고생을 많이 했다. 멘티들의 질문을 정확하게 이해하려고 노력했고, 별개로 코딩 연습들도 많이 진행했다. 그런 덕에 지금 연구들이 좀 수월하지 않나 싶다. 나에게는 정말 좋은 경험이었다.
6. MIT
MIT 첫 학기 후기 글을 첨부한다.
https://chanwoopark.tistory.com/45
박사 첫학기 후기
최근 첫 학기를 잘 적응해서 지내고 있다. 글을 많이 쓰려고 했지만, 시간이 허락하지 않았다 ㅋㅋㅋㅋ. 박사가 이렇게 바쁜거였다니.. 앞으로 더 바쁠 것 같다. 1. 최근 좋은 연구 기회를 찾아 Kai
chanwoopark.tistory.com
내년에 소소하게 하고 싶은 것들이 있다.
1. 테니스를 잘 치고 싶다. 테니스를 최근에 배우기 시작했는데, 은근히 재밌다. 렐리가 가능할 때부터 재밌어지는 거 같다. 아직 자세는 엉성하다. 테니스부에 들어갈 생각이다.
2. 꾸준히 논문 쓰기. applied 분야에서 2개 이상, theory 분야에서 매 conference마다 새로운 논문을 제출해보고 싶다. 크지 않은 주제여도 괜찮다. 일단 연습하는 차원에서 해보고 싶다.
3. 잘 적응하기. 아직 미국에 반정도만 적응한 것 같다. 영어도 더 신경 쓰고, 더 잘 적응하고 싶다.
모두들 happy new year!!