Better AI Models Won't Fix Your Engineering Team — Nicholas Arcolano, Jellyfish

한 줄 핵심

AI 모델 자체보다 도구 활용 방식, 사용량, 조직 환경, 그리고 개인 역량이 엔지니어링 생산성을 더 크게 좌우하므로, 성과를 높이려면 모델 교체보다 팀과 일하는 방식을 바꿔야 한다.

시간별 요약

1. 0:00
   소개 AI로 원하는 결과가 나오지 않을 때 원인은 모델이 아니라 사용 방식과 환경일 수 있다는 문제의식을 제시하며, 이를 설명하기 위해 골프 비유로 시작한다.
2. 0:40
   골프 비유 장비가 좋아져도 기본기가 부족하면 성과가 제한되듯, AI도 모델만 바꾸는 것보다 사용자의 숙련도와 기본 운용이 더 중요할 수 있다는 비유를 든다.
3. 2:01
   모델은 계속 좋아진다 모델 성능은 분명히 향상되고 있으며, 새 모델이 나오면 이전에는 못 하던 작업도 가능해진다. 하지만 실제 개발 성과를 설명하는 데 모델 향상만으로는 충분하지 않다고 문제를 제기한다.
4. 2:59
   자연 실험: Grok 전환 Cursor의 UI 변화로 Grok 사용이 급증한 상황을 자연 실험처럼 분석했지만, PR 처리량은 통계적으로 유의미하게 변하지 않았다. 모델을 한쪽으로 몰아도 산출이 크게 달라지지 않았고, 무엇이 더 중요한지 다시 보게 만든다.
5. 4:54
   실제 출력을 좌우하는 요인 산출 지표를 설명하는 핵심 요인으로 도구, 사용 숙련도, 사용량, 근무 환경, 개인 역량을 나눠 본다. 이 가운데 도구 자체의 설명력은 매우 작고, 개인과 조직 요인이 훨씬 큰 비중을 차지한다.
6. 7:14
   도구 모델이나 하네스를 바꾸는 효과를 살펴보면, PR 처리량 변화는 대체로 크지 않다. 도구 교체만으로는 의미 있는 생산성 향상을 만들기 어렵다는 결론이다.
7. 8:07
   어떻게 쓰느냐: 스킬 스킬 사용은 모델 선택보다 훨씬 큰 효과를 낸다. 실제로는 스킬을 거의 쓰지 않는 주간이 많지만, 충분히 활용하면 PR 처리량이 크게 올라간다.
8. 10:00
   얼마나 쓰느냐: 토큰 토큰 사용량과 활성 사용 일수가 많을수록 출력이 증가하지만, 증가폭은 점차 둔화된다. 같은 조건이라면 토큰을 더 쓰는 쪽이 더 많은 산출을 만들며, 상위 사용자군은 중간값보다 결과가 크게 높다.
9. 11:23
   어디서 일하느냐 팀과 회사는 성과에 큰 영향을 주며, 같은 AI 사용량이라도 회사 간 편차가 상당하다. 문화, 코드베이스, 리뷰 과정 같은 조직 환경이 생산성 차이를 만든다.
10. 12:22
    개인 가장 큰 요인은 결국 개인이며, 엔지니어 간 편차는 회사 간 편차보다도 더 크다. AI가 등장해도 상위 엔지니어가 대체로 그대로 상위권을 유지한다.
11. 13:42
    AI가 상위 엔지니어를 재편하는가 장기 데이터를 보면 상위권 엔지니어의 순위 이동은 여전히 존재하지만, AI 이후에 큰 재편이 일어난 증거는 약하다. 오히려 기존의 뛰어난 엔지니어가 계속 뛰어난 성과를 내는 경향이 유지된다.
12. 14:50
    리더가 통제할 수 있는 것 리더가 직접 바꿀 수 있는 것은 모델이 아니라 사람과 조직이다. 따라서 AI 성과를 높이려면 도구 기대에만 의존하지 말고, 팀 구조와 업무 환경을 바꾸는 데 집중해야 한다.

실무 인사이트

• AI 도입 성과를 볼 때는 모델 비교보다 스킬 사용률, 토큰 소비, 팀별 편차를 먼저 확인해야 병목을 더 정확히 찾을 수 있다.
• 생산성 향상을 원하면 도구를 바꾸기보다 Cursor rules, 사용 패턴, 리뷰 과정처럼 조직이 통제 가능한 레버를 손보는 편이 효과적이다.
• 상위 엔지니어 유지율이 높다는 점은 채용보다도 기존 인재의 일하는 환경과 워크플로 개선이 성과 개선에 더 직접적일 수 있음을 시사한다.