-
Pipeline Parallel (GPipe)
GPipe의 마이크로 배치 파이프라인 병렬화를 통한 거대 신경망 학습과 동기식 gradient 업데이트의 학습 일관성 보장.
-
Tensor Parallel
Megatron-LM의 텐서 모델 병렬화를 통한 수십억 파라미터 Transformer 모델의 효율적 다중 GPU 학습.
-
Vim Cheatsheet 📜
탐색, 편집, 검색, 고급 명령어를 포괄하는 Vim 치트시트.
-
홈페이지 관리 🏠
Jekyll 기반 GitHub Pages 학술 웹사이트의 관리 및 업데이트 방법 정리.
-
Terminologies in Differential Calculus
Pushforward, pullback, differential form 등 미분 기하학의 핵심 용어와 개념 정리.
