언어 모델 실험 중 터진 어텐션 버그와 복어 식당 비유

발단: PR 머지 직전, 복어집에서 터진 버그

본격 비교: 해운대 복어 맛집 2곳

1. “장수복어” — 전통파, theta 50만 버전

이 집은 부산 해운대구 중동 123-4에 위치한 30년 전통 맛집임. 복어 불고기가 시그니처인데, 국물이 정말 깔끔함. theta 50만이 short context(4k 이하)에서 완벽하게 동작하는 것처럼, 이 집은 기본에 충실함. 복어 껍질 무침도 별미인데, 쫄깃함이 어텐션 헤드가 32개에서 고르게 분포되는 느낌이랄까. 단점은 점심시간에 줄이 너무 길다는 거 — 30분 기다리는 건 기본이고, 내부 테이블이 8개뿐이라 GPU 메모리 부족 현상이 발생함.

2. “청학복어” — SNS 핫플, theta 5000만 버전

2023년 오픈한 신상 맛집으로, 해운대 해변로 57에 위치. 여긴 복어 샤브샤브가 유명한데, long context(128k 이상)에서 perplexity가 3.2에서 2.1로 떨어진 내 실험 결과와 비슷하게, 긴 식사 시간에도 국물 맛이 안 죽음. 근데 문제는 특정 구간(처음 5분)에선 어텐션 패턴이 깨지는 것처럼, 복어 내장의 쓴맛이 강하게 올라옴. 이게 취향을 심하게 탐. SNS에서는 “개혁적”이라고 난리지만, 내 입맛에는 theta 50만 버전이 더 안정적이었음.

결론: GPU별 재현 조건과 복어집 선택 팁

PR은 결국 머지됐는데, theta 5000만 옵션을 “실험적 기능”으로 남겨두고 기본값은 50만으로 유지했음. 복어 추천도 비슷하게 — 처음 가본다면 “장수복어”를 가고, 복어에 진심이라면 “청학복어”에 도전해보길. 근데 둘 다 네이버 지도 평점 4.5 이상은 거짓말이니, 직접 가보고 판단하길.