[한영자막] 안드레 카파시의 스탠포드 1시간 강의

한 줄 핵심

트랜스포머는 수동 특징 공학과 RNN의 한계를 넘어, 어텐션을 중심으로 표현력·학습 용이성·GPU 효율성을 동시에 잡아 AI의 표준 아키텍처가 된 이유를 설명하는 강의다.

시간별 요약

0:00
도입과 2012년 이전 AI의 혼란 초기 컴퓨터 비전과 NLP는 각자 다른 특징 추출 코드와 용어를 쌓아 올리는 구조였고, 분류기 위에 SVM을 얹는 식의 수작업 파이프라인이 비효율과 오류의 원인이었다. 분야마다 공통 언어가 없어서 논문을 넘나들며 이해하기도 어려웠다.
2:40
딥러닝의 확산과 아키텍처 수렴 2012년 이후 대규모 데이터와 큰 신경망이 강력한 성능을 보이면서, 컴퓨터 비전·NLP·음성·번역·강화학습 전반에 같은 모델링 틀이 빠르게 퍼졌다. 2017년 Transformer는 아예 하나의 아키텍처를 여러 분야에 복사해 쓰는 수준의 수렴을 만들어 냈다.
5:11
어텐션의 출현과 인코더 병목 초기 seq2seq 번역 모델은 입력 문장을 하나의 고정 벡터로 압축해야 해서 정보 손실이 큰 인코더 병목에 부딪혔다. 이를 해결하기 위해 디코딩 시점마다 인코더의 과거 상태를 soft search로 다시 참조하는 어텐션이 등장했다.
9:20
Attention Is All You Need와 트랜스포머의 등장 2017년 Transformer는 RNN을 제거하고 어텐션만으로도 충분하다는 점을 보여 주면서, residual, layer norm, multi-head, positional encoding을 결합한 매우 강한 조합을 제시했다. 이후 GPT 계열과 많은 변형이 거의 이 기본 구조를 유지할 정도로 아키텍처 표준이 됐다.
12:24
어텐션을 그래프 메시지 패싱으로 보기 어텐션은 토큰들 사이의 directed graph에서 이루어지는 메시지 패싱으로 볼 수 있고, Query는 찾는 것, Key는 가진 것, Value는 전달할 정보에 해당한다. dot product로 친화도를 계산하고 softmax로 정규화한 뒤 Value를 가중합해 각 노드를 갱신하는 구조가 핵심이다.
17:48
Query, Key, Value를 파이썬으로 직관적으로 이해하기 self-attention은 각 노드가 자기 자신으로부터 Query, Key, Value를 모두 만들고, cross-attention은 Query만 현재 토큰에서 만들고 Key와 Value는 외부 인코더에서 가져온다. multi-head는 같은 계산을 여러 번 병렬로 수행해 서로 다른 종류의 정보를 동시에 모으는 방식이다.
20:44
NanoGPT로 보는 GPT 구조 구현 NanoGPT는 약 300줄로 GPT-2를 재현하는 작은 구현체로, 텍스트를 정수 시퀀스로 바꾸고 batch와 block size를 이용해 학습 데이터를 만든다. 토큰 임베딩과 positional embedding을 더해 Transformer block에 넣고, 마지막 linear layer로 다음 토큰의 logits를 예측한다.
26:38
인과적 셀프 어텐션과 마스킹 decoder-only 언어모델에서는 미래 토큰을 볼 수 없도록 attention matrix를 마스킹해야 하며, 이를 통해 현재 위치는 과거 위치에만 의존하게 된다. masked fill로 미래 연결을 -inf로 막은 뒤 softmax를 적용해 causal attention을 구현한다.
33:43
ViT, Whisper, 강화학습으로의 확장 Transformer는 이미지 패치를 토큰처럼 다루는 ViT, MEL spectrogram을 다루는 Whisper, 상태·행동·보상을 시퀀스로 보는 Decision Transformer처럼 여러 도메인에 그대로 확장된다. 입력을 잘게 쪼개 하나의 set으로 넣고 attention이 관계를 학습하도록 두는 방식이 범용성을 만든다.
40:48
GPT-3와 인컨텍스트 러닝의 비밀 GPT-3는 prompt 안에 몇 개의 예시를 넣을수록 성능이 오르며, 이는 추가 학습 없이도 모델이 context 내부에서 일종의 메타학습을 수행한다는 신호로 해석된다. 외부의 gradient descent가 아니라 activations 안에서 학습처럼 보이는 과정이 일어난다는 점이 중요하다.
47:05
트랜스포머가 강력한 세 가지 이유 Transformer는 복잡한 함수를 표현할 수 있는 표현력, residual과 layer norm 덕분의 최적화 용이성, 그리고 shallow-wide 구조로 인한 GPU 병렬 효율성을 동시에 갖는다. 그래서 단순히 성능만이 아니라 대규모 학습에 필요한 실용성을 함께 만족시킨다.
50:14
질문 응답과 앞으로의 연구 방향 RNN은 이론적으로는 강력할 수 있어도 순차적 구조 때문에 효율과 최적화에서 불리하고, Transformer는 context length 한계를 보완하기 위해 scratch pad 같은 외부 메모리 활용이 유망하다고 본다. 향후에는 NanoGPT 같은 재현 작업과 ChatGPT류 제품의 점진적 개선, 그리고 diffusion과의 하이브리드가 흥미로운 방향으로 제시된다.

실무 인사이트

긴 컨텍스트가 필요한 작업은 모델 자체를 키우기보다 scratch pad, 외부 메모리, 마스킹 같은 구조적 보완으로 먼저 한계를 완화하는 것이 실용적이다.
새로운 멀티모달 입력은 복잡한 별도 아키텍처보다 토큰화와 positional encoding 설계를 통해 Transformer에 흡수하는 전략이 구현과 확장성 모두에서 유리하다.
모델 선택 시 정확도만 보지 말고, 병렬화 가능성·학습 안정성·장기적 확장성을 함께 봐야 대규모 시스템에서 실제 이점을 얻을 수 있다.