찬우의 딥러닝

JAX는 XLA를 이용해서 Numpy code를 accelerator에서 돌리는 것이다. 요즘 하두 JAX에 대한 말이 많아서, 나도 빠르게 익혀서 내 분야인 강화 학습, 딥러닝에 적용하고자 한다. 기본적으로 JAX document를 하나하나 읽어보고, 이후에 더 추가적으로 구현들을 봐보려 생각한다. 특히 Diffusion Model이나 RL 내에서 적어도 3배 정도 빨라진다 지인들이 추천해서, 안 할 수가 없다. 공부하면서 적은 블로그이니, 틀릴 수 있음을 감안해주면 좋을 거 같다. 생각이 나서, vscode에 colab도 연동해서 공부해보려 한다. (https://dacon.io/forum/406050에서 참고해보려 한다) 평소에는 연구실의 gpu를 썼는데 살짝 갭 타임이 있어서 (MIT에 입학 전에..

에 되었다. https://engineering.mit.edu/students/graduate-student-fellowships/ MIT School of Engineering | » Graduate Student Fellowships The MIT School of Engineering has a number fellowship opportunities for current graduate students. Students are encouraged to reach out to their academic officers or academic administrators for information regarding applying to specific fellowships. Abdul engineeri..

많은 유학을 준비하는 학생들이 지원할 학교를 고민한다. 크게 2가지 이유가 있는데, Issue 1. 많은 학교에 지원하는 것이 쉽지 않다. Reason 1. 여러 학교에 지원하려면 지원비(한 학교 지원에 100달러 이상 소모되고, GRE, TOEFL 스코어 리포팅으로도 학교당 30-40달러씩 소모)가 비싸기 때문에 꺼려진다. 하나만 붙으면 되잖아..?라는 생각도 든다. Thought 1. 이런 이유라면 꼭 많이 지원하기 바란다. 유학을 지원하고 가장 중요한 것은 멘탈 관리라고 생각한다. 유학 지원하고 결과 나올 때까지 최소 1개월, 최대 5개월 정도 걸리는데, 이때까지 아무것도 안 하고 불안해할 것인가? 나는 이 불안해하는 비용이 인생 전체로 보았을 때 더 크다고 생각한다. 안정적으로 생각되는 곳까지 지..

https://chanwoopark.tistory.com/15 LOGML 시작 https://www.logml.ai/ LOGML 2022 | London Geometry and Machine Learning The London Geometry and Machine Learning Summer School 2022 (LOGML) aims to bring together geometers and machine learners to w.. chanwoopark.tistory.com 교수님이 주제를 어느 정도 제시해주셨다. Frame Averaging에 대해서 약점을 찾는 것이었는데, 사실 너무 well defined 되지 않은 task라서 오랫동안 (개인적으로는) 고민을 많이 했다. 1. 영어로 대화하다 보니..

Game theoretic reinforcement learning theory GNN (with diffusion) Policy Gradient Methods Riemannian acceleration. 4가지 다 어느정도 감이 잡혀서 주제들이 너어어무 많이 떠오른다. 역시 Shut up and read paper가 답인거 같다. 열심히 읽어야지.

2022년 유학을 나가는데 가장 든든했던 것들을 골라보자면 내가 가진 연구 경력과 함께 KFAS에서 지원해주는 연구 장학금이었다. 연구경력은 각자가 각자의 길을 걷는 것이기 때문에 내가 여기서 일반화하여 ~~ 해라라고 말하는 것은 어려워 보인다. 허준이 교수처럼 늦은 시간에 처음 연구를 접해서 꽃 피울 수도 있고, 나처럼 여러 넓은 분야의 연구실을 왔다 갔다 할 수도 있고, 내 친구처럼 (올해 같이 유학을 나감) 한 연구실에서 3년간 있으면서 깊게 파볼 수도 있을 것이다. 유학에 대한 장학금을 지원해주는 곳은 생각보다 손에 꼽을 수 있다. 키워드는 유학 지원 전 장학금인가 / 유학 지원 후 장학금인가 이다. 유학 지원 전 장학금은 박사 유학 어플리케이션에 매우 도움이 된다. 돈을 들고 나온 유학 지원자를..

https://www.logml.ai/ LOGML 2022 | London Geometry and Machine Learning The London Geometry and Machine Learning Summer School 2022 (LOGML) aims to bring together geometers and machine learners to work together on a variety of problems. There will be a selection of group projects, each overseen by an experienced mentor, talks www.logml.ai 그래프 (GNN) 관련 여름학교인데, 매우 기대가 된다. 여러 관련 논문들을 미리 읽었고, 학생들과 유..

토플이 어떤 시험인지는 설명하지 않겠다. 토플은 대학원 유학에 필수적이고, 요구하지 않는 학교는 가히 '없다'라고 말하고 싶다. Go hackers에 예전에 올렸던 글을 올린다. ------------------------------------------------------------------------------- 100점(마이 베스트 103) 토플을 끝낸 올해 유학을 나가게 되는 학생입니다. 유학 결과가 모두 확정되고야 글을 쓰게 되네요. 기존에 저는 수능 영어 4등급, 구텝스 600점의 벽을 벗어나지 못했습니다. 유학을 막상 준비해야 한다고 생각하니, 토플 100점은 필수적이었고, 제가 지원하는 학교들은 보통 minimum으로 100점을 요구했습니다. 결국 100점을 받아내서 원하는 학교에 입학..

이번에 친구가 같이 해보자고 해서 Quantum Hackathon을 참가하게 되었다. 퀀텀에 대해서 아무것도 모르다가 첨 제안이 온 이후부터 열심히 보기 시작했다. Shor Algorithm 등등을 첨 익혔을 때 소름 돋았다. 퀀텀 이론으로 정말 ml theory의 지평을 열 수 있을 것 같았다. 실제로 해커톤에 참가하면서 많은 것을 느꼈다. 1. 퀀텀 컴퓨팅은 아직 멀었다. IBM 의 퀀텀 컴퓨터를 이용했다. X gate (대충 180도 회전)을 2n개 적용한 quantum circuit이 실제 device 내에서 다시 원상태로 돌아오지 않고 180도가 돌아있었다. 나도 돌아버릴 뻔했다. 퀀텀 서킷이 조금만 깊어도 잘 안된다는 뜻이다. 2. 이론적으로 너무 재밌다 미친 알고리즘들이 많다. 넘 간단한 아..

이번 반기에 제일 열심히 한 것 같다. 정말 시야가 많이 늘었다. DL Theory (Tengyu Ma), Causality (Pearl), RL Theory book (AJKS), Geometric Deep Learning, GNN 페이퍼 수십 개, RL Theory paper 수십 개, Game Theory, Information Theory, Multi-agent RL 페이퍼 여러 개, Algorithmic Game Theory, ML with optimization... 이외에도 여러 주제들을 ML Theory Korea 그룹에서 다뤘다. 앞으로 미국 나가면 많이 못 다룰거 같은데, 뒤에 있는 사람들이 잘 이 좋은 것들을 이어주면 좋겠다. 여기서 여러 가지 연구를 같이 세미나 한 사람들이랑 시작했..