당신이 아는 '더닝-크루거 효과', 착시일 수 있다...캐나다 맥길대 과학소통기구 분석..."무작위 숫자로도 똑같은 그래프 나와" 실재하지 않는 통계적 허상 가능성 제기

[한국정보기술신문] 능력이 부족한 사람일수록 자기 실력을 실제보다 높게 평가한다는 '더닝-크루거 효과(Dunning-Kruger effect)'가 사실은 실재하지 않는 통계적 착시일 수 있다는 분석이 나왔다. 캐나다 맥길대학교의 과학 소통 기구인 '과학과 사회 사무국(Office for Science and Society)'의 조너선 재리(Jonathan Jarry)는 자사 누리집에 올린 글에서, 이 효과가 사람의 뇌에 실제로 존재하는 편향이 아니라 숫자를 다루는 특유의 방식에서 비롯된 허상일 가능성이 크다고 밝혔다. 더닝-크루거 효과란 1999년 미국 심리학자 데이비드 더닝(David Dunning)과 저스틴 크루거(Justin Kruger)가 처음 제시한 개념으로, 어떤 일에 서툰 사람은 자기 실력을 실제보다 크게 부풀려 평가하고, 반대로 잘하는 사람은 자기 실력을 다소 낮춰 본다는 이론이다.

글에 따르면 사람들이 이 효과에 대해 가장 크게 오해하는 대목은 '누가 여기에 해당하느냐'다. 흔히 이 효과는 '멍청한 사람은 자기가 멍청한 줄 모른다'는 뜻으로 인용되지만, 더닝 본인은 재리에게 보낸 전자우편에서 이 효과가 '남'이 아니라 '우리 자신'에 관한 것이라고 밝혔다. 특정한 어리석은 사람들을 겨냥한 이론이 아니라, 누구든 잘 알지 못하는 분야에서는 자기 실력을 과신하기 쉬우니 스스로에게 겸손하고 신중해야 한다는 교훈에 가깝다는 것이다.

원래 이 효과는 사람의 사고에 깃든 편향으로 정의됐다. 예를 들어 영어 문법에 서툰 사람이 문법 시험을 치른 뒤 자기 점수를 어림해 보면, 실제로는 15점을 받았으면서도 60점쯤 받았으리라 착각한다는 것이다. 반대로 문법을 아주 잘하는 사람은 90점을 받고도 스스로는 70점쯤이라고 낮춰 본다. 이렇게 자기평가와 실제 성적 사이에 벌어지는 차이가 바로 이 효과이며, 그동안 이는 사람의 뇌가 자기 능력을 제대로 가늠하지 못하는 특유의 결함 때문으로 여겨졌다. 더닝과 크루거는 1990년대 말 학생들을 상대로 문법과 유머, 논리적 추론 능력을 시험한 뒤, 학생 스스로 매긴 점수와 객관적으로 채점한 실제 점수를 견줘 이 효과를 확인했다. 이후 여러 분야에서 같은 효과를 보고한 연구가 잇따랐다.

그런데 2016년과 2017년, 수리 능력을 다루는 학술지 '뉴머러시(Numeracy)'에 이 효과가 '신기루'일 수 있다는 논문 두 편이 실렸다. 에드 누퍼(Ed Nuhfer) 연구진이 쓴 이 논문들은 더닝-크루거 효과가 아무 의미 없는 무작위 데이터로도 똑같이 재현된다는 점을 보였다. 무작위 데이터란 사람의 판단이 전혀 개입하지 않은, 컴퓨터가 임의로 만들어 낸 숫자를 말한다. 누퍼 연구진이 컴퓨터가 만든 가짜 숫자와 실제 과학 지식 시험 결과를 함께 분석한 결과, 실력이 부족한 사람 대부분이 그 사실을 모른다는 주장은 성립하지 않았다. 그런 사람은 전체의 5~6%에 불과했고, 전문가든 초보자든 자기 실력을 부풀리거나 낮추는 빈도는 비슷했다는 것이다. 다만 전문가는 그 폭이 조금 더 좁을 뿐이었다.

재리는 조지메이슨대학교 심리학과의 패트릭 매크나이트(Patrick E. McKnight) 등의 도움을 받아 이 주장을 직접 검증했다. 매크나이트는 원래 이 효과를 믿고 학생들에게 "네가 안다고 여기는 것과 실제로 아는 것을 구분하라"며 가르쳐 온 사람이었다. 그러나 통계 분석에 쓰는 프로그램인 R로 누퍼의 결과를 다시 확인해 본 뒤, 이 효과가 측정 방식이 만들어 낸 허상이라는 쪽으로 생각을 바꿨다고 한다.

글은 어떤 심리 현상이 실제로 존재한다면 무작위 잡음만으로는 똑같이 만들어 낼 수 없어야 한다고 짚는다. 예컨대 사람이 동전 던지기에서 앞면을 더 많이 부르는 경향이 있다면, 임의로 앞뒤를 부르는 컴퓨터와 견줬을 때 사람 쪽이 앞면을 더 자주 불러 그 차이가 드러나야 한다. 그러나 더닝-크루거 효과는 그렇지 않았다. 무작위 데이터가 이 효과를 아주 그럴듯하게 흉내 냈기 때문이다.

1999년 원래 실험은 독특한 방식의 그래프를 썼다. 학생들을 성적에 따라 하위 25%부터 상위 25%까지 네 무리로 나눈 뒤, 무리별로 실제 평균 성적과 스스로 매긴 평균 점수를 함께 그린 것이다. 이렇게 크기순으로 늘어놓고 4등분한 각 구간을 '사분위'라고 부른다. 이 방식으로 그리면 하위 25%는 자기 실력을 크게 부풀려 본 것처럼, 상위 25%는 자기 실력을 낮춰 본 것처럼 나타난다. 그런데 매크나이트가 자기평가와 실제 성적을 모두 무작위 숫자로 채워 같은 그래프를 그렸더니, 1999년 실험과 소름 끼칠 만큼 비슷한 모양이 나왔다. 코드 어디에도 '점수가 낮은 학생이 자기 실력을 높게 볼' 만한 장치를 심어 두지 않았는데도 그러했다. 실제로 원래 논문이 나온 지 3년 뒤 필립 애커먼(Phillip Ackerman) 연구진도 비슷한 모의실험에서 같은 결과를 얻은 바 있다.

글은 사람이 자기 능력을 스스로 평가하는 일 자체가 부정확하다는 점도 문제로 든다. 같은 시험이라도 오늘 보느냐 내일 보느냐에 따라, 또 그날의 기분과 자신감에 따라 자기평가가 달라지기 때문이다. 이런 불안정성 탓에 실제로 존재하는 심리 효과라도 실험에서는 더 작게 측정되는데, 이를 '측정의 불안정성에 따른 감쇠'라고 부른다. 그런데 매크나이트가 무작위 숫자로 모의실험을 해 보니, 측정 오차를 키울수록 더닝-크루거 효과는 오히려 더 또렷하게 나타났다. 그는 측정 오차를 늘렸을 때 결과가 더 뚜렷해지는 발견은 과학의 역사에 단 한 번도 없었다며, 이 효과가 실재하는 현상이 아닐 가능성을 지적했다.

일부 학자는 이 효과를 '평균으로의 회귀'로 설명하기도 한다. 평균으로의 회귀란 같은 대상을 여러 번 잴 때 유난히 크거나 작은 값이 다음 측정에서는 평균에 가까워지는 현상을 말한다. 아침마다 체온을 재다 하루 열이 확 올라도 이튿날이면 다시 평소 체온으로 돌아오는 것이 그 예다. 그러나 매크나이트는 더닝-크루거 효과에서는 무언가를 시간에 걸쳐 되풀이해 재는 것이 아니고, 자기평가와 실제 성적은 애초에 서로 다른 측정이므로 평균으로의 회귀로는 설명되지 않는다고 봤다. 그보다는 자기평가라는 측정 자체가 불안정하다는 점이 이 효과의 상당 부분을 설명한다는 것이다.

재리에 따르면 '더닝-크루거 효과'라는 말은 뉴욕타임스와 뉴사이언티스트, 캐나다 공영방송(CBC) 같은 매체에서 폭넓게 쓰이며, 상당수가 이를 실제 뇌의 편향으로 소개한다. 그만큼 이 효과가 처음 발표된 뒤로 학계에서 제기돼 온 비판은 대중에게 잘 알려지지 않았다는 것이 그의 지적이다. 그는 이 말이 오랫동안 어리석음이나 무능을 손쉽게 설명하는 주문처럼 쓰여 왔다며, 이제 그 주문을 풀 때가 됐다고 밝혔다.