찬우의 딥러닝

https://chanwoopark.tistory.com/15 LOGML 시작 https://www.logml.ai/ LOGML 2022 | London Geometry and Machine Learning The London Geometry and Machine Learning Summer School 2022 (LOGML) aims to bring together geometers and machine learners to w.. chanwoopark.tistory.com 교수님이 주제를 어느 정도 제시해주셨다. Frame Averaging에 대해서 약점을 찾는 것이었는데, 사실 너무 well defined 되지 않은 task라서 오랫동안 (개인적으로는) 고민을 많이 했다. 1. 영어로 대화하다 보니..

Game theoretic reinforcement learning theory GNN (with diffusion) Policy Gradient Methods Riemannian acceleration. 4가지 다 어느정도 감이 잡혀서 주제들이 너어어무 많이 떠오른다. 역시 Shut up and read paper가 답인거 같다. 열심히 읽어야지.

2022년 유학을 나가는데 가장 든든했던 것들을 골라보자면 내가 가진 연구 경력과 함께 KFAS에서 지원해주는 연구 장학금이었다. 연구경력은 각자가 각자의 길을 걷는 것이기 때문에 내가 여기서 일반화하여 ~~ 해라라고 말하는 것은 어려워 보인다. 허준이 교수처럼 늦은 시간에 처음 연구를 접해서 꽃 피울 수도 있고, 나처럼 여러 넓은 분야의 연구실을 왔다 갔다 할 수도 있고, 내 친구처럼 (올해 같이 유학을 나감) 한 연구실에서 3년간 있으면서 깊게 파볼 수도 있을 것이다. 유학에 대한 장학금을 지원해주는 곳은 생각보다 손에 꼽을 수 있다. 키워드는 유학 지원 전 장학금인가 / 유학 지원 후 장학금인가 이다. 유학 지원 전 장학금은 박사 유학 어플리케이션에 매우 도움이 된다. 돈을 들고 나온 유학 지원자를..

https://www.logml.ai/ LOGML 2022 | London Geometry and Machine Learning The London Geometry and Machine Learning Summer School 2022 (LOGML) aims to bring together geometers and machine learners to work together on a variety of problems. There will be a selection of group projects, each overseen by an experienced mentor, talks www.logml.ai 그래프 (GNN) 관련 여름학교인데, 매우 기대가 된다. 여러 관련 논문들을 미리 읽었고, 학생들과 유..

토플이 어떤 시험인지는 설명하지 않겠다. 토플은 대학원 유학에 필수적이고, 요구하지 않는 학교는 가히 '없다'라고 말하고 싶다. Go hackers에 예전에 올렸던 글을 올린다. ------------------------------------------------------------------------------- 100점(마이 베스트 103) 토플을 끝낸 올해 유학을 나가게 되는 학생입니다. 유학 결과가 모두 확정되고야 글을 쓰게 되네요. 기존에 저는 수능 영어 4등급, 구텝스 600점의 벽을 벗어나지 못했습니다. 유학을 막상 준비해야 한다고 생각하니, 토플 100점은 필수적이었고, 제가 지원하는 학교들은 보통 minimum으로 100점을 요구했습니다. 결국 100점을 받아내서 원하는 학교에 입학..

이번에 친구가 같이 해보자고 해서 Quantum Hackathon을 참가하게 되었다. 퀀텀에 대해서 아무것도 모르다가 첨 제안이 온 이후부터 열심히 보기 시작했다. Shor Algorithm 등등을 첨 익혔을 때 소름 돋았다. 퀀텀 이론으로 정말 ml theory의 지평을 열 수 있을 것 같았다. 실제로 해커톤에 참가하면서 많은 것을 느꼈다. 1. 퀀텀 컴퓨팅은 아직 멀었다. IBM 의 퀀텀 컴퓨터를 이용했다. X gate (대충 180도 회전)을 2n개 적용한 quantum circuit이 실제 device 내에서 다시 원상태로 돌아오지 않고 180도가 돌아있었다. 나도 돌아버릴 뻔했다. 퀀텀 서킷이 조금만 깊어도 잘 안된다는 뜻이다. 2. 이론적으로 너무 재밌다 미친 알고리즘들이 많다. 넘 간단한 아..

이번 반기에 제일 열심히 한 것 같다. 정말 시야가 많이 늘었다. DL Theory (Tengyu Ma), Causality (Pearl), RL Theory book (AJKS), Geometric Deep Learning, GNN 페이퍼 수십 개, RL Theory paper 수십 개, Game Theory, Information Theory, Multi-agent RL 페이퍼 여러 개, Algorithmic Game Theory, ML with optimization... 이외에도 여러 주제들을 ML Theory Korea 그룹에서 다뤘다. 앞으로 미국 나가면 많이 못 다룰거 같은데, 뒤에 있는 사람들이 잘 이 좋은 것들을 이어주면 좋겠다. 여기서 여러 가지 연구를 같이 세미나 한 사람들이랑 시작했..

이거보다 실제로 self-studied는 더 많을 것이다. 개인적으로 존경하는 연구자인 Allen-Zhu의 http://people.csail.mit.edu/zeyuan/courses.htm 을 따라 했다. 요즘 내가 하는 것들은 또 거리가 있지만, 어떤 식으로 수학, 통계를 공부해야 하냐의 하나의 로드맵이 될 수 있을 거라 생각한다. 학부시절에는 통계를 구성하는 수학을 공부하고 싶었다. 성격이 깊게 알지 못하면 넘어가질 못해서 수학을 하다가 컴퓨터도 공부하게 되고, 기반에 있던 물리도 공부하게 되었다. 컴퓨터는 별개로 예전에 알고리즘 문제풀이 코딩들을 많이 했다. (백준) 많이 했다고 하면 민망하고, 적당히 백준 기준 골드~플레 사이이다. PS를 전문으로 하기에는 잘 못하지만, 꽤 코딩 능력을 올려준 ..

통계학과와 CS를 지원하면서 꼭 GRE Math subject를 봐야겠다고 생각했다. 첫째로 나는 수학을 학부생 치고 잘한다고 생각했고, 둘째로 일부 학교에서 Math Subject가 필수였다. 혹은 그 점수가 높다면 좋을 것이다는 소문이 있었다. 셋째로는 딱히 시간을 내서 준비하지 않아도 되었다. GRE Subject 시험은 4월, 10월에 있기 때문에 (1년 2회로 기억한다) 있을 때마다 미리 2달 전에 신청 해두길 바란다. 중요한 시험은 절대로 아닌데, 유학 준비생 입장에서 중요하지 않다고 해서 보지 않는 건 깡이 있다고 해도 쉽지가 않다. GRE Subject Math는 기본적으로 미적분학, 해석개론, 미분방정식, 선형대수학, 현대 대수학 (앞부분 group, ring, field 정도..? 갈루..

드디어 억셉이 되었다. Applied Mathematics and Optimization이라는 저널이다. 2021 ICML에서 한 끗 차이로 떨어졌다. (라고 깊게 믿고 있다. ) 말도 안 되는 소리를 하는 리뷰어가 한 명 있었고, 정말 평균 점수로 보면 붙을 수도 있었는데 떨어졌다. 이후에 1개 저널의 데스크 리젝, 1개 저널에서 말도 안 되는 소리를 하는 리뷰어들만 만났다. 논문 자체를 읽지 않은 사람들이라 믿어졌다. 그리고 드디어, 논문을 이해하고 논문의 본질을 질문하는 리뷰어들을 만났고, 억셉되었다. 1년 반 동안 arxiv만 유랑하던 논문이 드디어 붙어 기분이 좋다. https://scholar.google.com/citations?view_op=view_citation&hl=en&user=FD..