사람 1,052명을 AI로 복제한 실험 — 83%까지 맞았고, 3가지에서 깨졌습니다

한 줄 핵심

합성 페르소나는 실제 사람 응답을 꽤 잘 예측하지만, 맥락이 비면 세계를 지어내고, 선택지 순서에 흔들리며, 태도보다 행동 예측에 약하므로 인간 리서치의 대체제가 아니라 검증된 보조 예보 도구로 써야 한다.

시간별 요약

1. 0:00
   합성 페르소나가 커진 이유 AI 페르소나로 신제품과 메시지를 먼저 시험하는 시장이 커지고 있으며, 이를 가능하게 한 배경은 연산력과 데이터의 증가다. 다만 이 도구는 날씨 예보처럼 적용 가능한 범위와 신뢰 조건이 분명한 예보 모델로 이해해야 한다.
2. 4:00
   1,052명 실험과 83%의 의미 1,052명을 2시간 넘게 인터뷰해 기록을 AI에 넣고 같은 검사를 시킨 결과 83% 일치가 나왔지만, 이 값은 절대 정확도가 아니라 인간의 자기 일관성에 맞춰 정규화된 값이다. 즉 사람 자체도 2주 뒤엔 80% 정도만 자기 자신과 맞기 때문에, 모델의 성능을 볼 때는 인간의 흔들림을 먼저 기준으로 삼아야 한다.
3. 6:00
   세 가지 실패 지점 첫째, 맥락이 부족하면 모델이 가격을 단서로 주변 세계까지 임의로 보정해 오히려 역설적인 응답을 만든다. 둘째, 선택지 순서만 바꿔도 답이 크게 흔들리는 순서 편향이 있고, 셋째, 사람의 '말'은 잘 맞추지만 실제 '행동'은 잘 못 맞춰 태도와 행동을 구분해야 한다.
4. 12:00
   정확도를 높이는 방법과 검증법 성격과 맥락뿐 아니라 연구 설계 자체까지 프롬프트에 명시하고, 순서·표현·반박 변화에도 답이 유지되는지 내구성을 확인해야 한다. 또한 파인튜닝은 이미 내부에 있는 페르소나를 꺼내는 방식으로 작동할 수 있고, 단순 점수보다 분포와 형태를 함께 비교해야 실제 품질을 판단할 수 있다.
5. 16:00
   합성 페르소나의 올바른 위치 샘플을 더 많이 돌린다고 예보 자체가 더 정확해지지는 않으며, 실제 사람 답과의 비교 및 noise floor 측정이 핵심이다. 합성 페르소나는 인간 리서치를 대체하는 것이 아니라, 더 이른 단계와 더 넓은 상황에서 인간 데이터를 확장하는 도구로 써야 한다.

실무 인사이트

• 합성 페르소나를 쓸 때는 프롬프트에 성격보다 맥락, 그리고 연구 설계까지 넣어야 세계를 덜 지어낸다.
• 평가할 때는 평균 정확도만 보지 말고 선택지 순서 변경, 표현 변경, 반박 질문에 대한 안정성을 함께 테스트해야 한다.
• 행동 예측이 필요하면 태도 설문만 보지 말고 실제 행동으로 이어지는 대리 지표와 분포 비교를 같이 설계해야 한다.