게임 이론 해설: 죄수의 딜레마와 협력이 어려운 이유

게임 이론은 전략적 의사결정을 수학적으로 연구하는 학문입니다. 즉, 합리적 행위자들이 자신의 결과가 자신의 행동뿐 아니라 타인의 행동에도 달려 있을 때 어떻게 선택하는지를 다룹니다. 게임 이론은 경제학, 정치학, 진화생물학, 컴퓨터 과학에서 가장 강력한 분석 틀 중 하나입니다.

게임 이론의 핵심에는 겉으로는 단순해 보이는 시나리오가 있습니다. 바로 죄수의 딜레마입니다. 이를 이해하면 경쟁, 협력, 군비 경쟁, 기후 협약, 심지어 일상적인 사회적 상호작용을 바라보는 시각이 달라집니다.

죄수의 딜레마란 무엇인가?

고전적인 설정은 이렇습니다. 두 용의자가 체포되어 각각 따로 심문을 받습니다. 두 사람은 서로 의사소통할 수 없으며, 각자 독립적으로 선택해야 합니다.

• 협력 — 침묵을 지키며 상대방을 보호한다
• 배신 — 상대방을 당국에 고발한다

결과는 두 사람 모두의 선택에 따라 달라집니다.

나 \ 상대방	협력	배신
협력	둘 다 1년 복역 (보상)	나는 5년, 상대방은 석방 (호구)
배신	나는 석방, 상대방은 5년 복역 (유혹)	둘 다 3년 복역 (처벌)

연구에서 사용하는 추상적인 버전에서는 점수로 표현합니다 (높을수록 유리):

나 \ AI	협력	배신
협력	3 / 3	0 / 5
배신	5 / 0	1 / 1

딜레마의 핵심: 배신은 항상 개인적으로 합리적인 선택이지만, 상호 배신(1,1)은 상호 협력(3,3)보다 모두에게 나쁜 결과를 낳습니다.

Nash 균형: 합리적 행위자가 배신하는 이유

Nash 균형이란 다른 모든 플레이어가 전략을 바꾸지 않는다고 가정할 때, 어떤 플레이어도 자신의 전략만 바꿔서 더 나은 결과를 얻을 수 없는 상태를 말합니다.

죄수의 딜레마에서 상호 배신이 Nash 균형입니다.

• 상대방이 협력할 경우, 배신하면 5점, 협력하면 3점 — 배신이 유리
• 상대방이 배신할 경우, 배신하면 1점, 협력하면 0점 — 배신이 유리

상대방이 무엇을 하든 배신이 협력을 압도합니다. 이를 우월 전략이라고 합니다. 합리적 플레이어들은 (협력, 협력)이 두 사람 모두에게 더 많은 이득을 주더라도 (배신, 배신)으로 수렴합니다.

이것이 비극입니다. 개인적 합리성이 집단적 비합리성을 낳는 것입니다.

현실 세계의 죄수의 딜레마

죄수의 딜레마는 추상적인 퍼즐이 아닙니다. 수많은 현실 상황을 묘사합니다.

핵 군비 경쟁 — 두 강대국은 서로 사용하고 싶지 않은 무기에 막대한 자원을 쏟아붓습니다. 둘 다 군축을 하면 더 나은 상황이 되지만, 상대방이 먼저 군축할 것이라고 믿을 수 없습니다.

가격 전쟁 — 두 항공사가 아무도 수익을 내지 못할 때까지 가격을 내립니다. 둘 다 높은 가격 균형을 선호하지만, 각자 상대방에게 뒤처질까 봐 두려워합니다.

기후변화 — 모든 나라가 배출량을 줄이면 모두가 혜택을 받지만, 개별 국가는 비용을 부담하면서 다른 나라들이 무임승차할 수도 있습니다.

스포츠 도핑 — 선수들은 모두가 도핑을 하면 아무도 이득을 보지 못하고 모두 건강 위험에 처한다는 걸 압니다. 그러나 다른 선수들이 도핑을 할 수도 있다면 각 선수는 유혹을 느낍니다.

광고비 지출 — 두 경쟁 기업이 모두 막대한 광고비를 쏟아부어 서로의 이득을 상쇄하면서 둘 다 비용만 떠안습니다. 어느 쪽도 일방적으로 멈출 수 없습니다.

반복 게임: 협력이 나타나는 곳

단발성 죄수의 딜레마는 냉혹합니다. 하지만 같은 두 플레이어가 반복적으로 상호작용하면 어떻게 될까요?

반복 게임에서는 셈법이 완전히 달라집니다. 이제 미래의 그림자가 중요해집니다. 상대방은 지난 라운드에서 내가 무엇을 했는지 기억하고 그에 따라 반응할 것입니다.

Robert Axelrod의 1980년 획기적인 컴퓨터 토너먼트는 전문가들에게 반복 죄수의 딜레마(200라운드) 전략을 제출하도록 요청했습니다. 전략은 "항상 배신"부터 복잡한 조건부 프로그램까지 다양했습니다.

우승한 것은 제출된 전략 중 가장 단순한 것이었습니다. 바로 Tit-for-Tat입니다.

우승 전략들

Tit-for-Tat (고전적 챔피언)

1. 첫 번째 수에서 협력한다
2. 이후부터는 상대방이 지난 라운드에서 한 행동을 그대로 따라 한다

Tit-for-Tat이 우승한 이유는 다음과 같습니다.

• 우호적 — 절대 먼저 배신하지 않는다
• 응보적 — 배신에 즉각 보복한다
• 관용적 — 상대방이 협력하는 순간 바로 협력으로 돌아온다
• 명확함 — 행동이 예측 가능하여 장기적인 협력을 가능하게 한다

Grim Trigger (핵 옵션)

상대방이 한 번 배신할 때까지 협력하다가, 그 이후 영원히 배신한다. 억지력을 극대화하지만 화해 가능성을 완전히 없앱니다. 실제로는 단 한 번의 실수 이후 영구적인 상호 처벌로 이어지는 경향이 있습니다.

Pavlov / Win-Stay, Lose-Shift

마지막 행동이 좋은 점수(보상 또는 유혹)를 냈다면 그 행동을 반복합니다. 나쁜 점수(호구 또는 처벌)를 냈다면 전략을 바꿉니다. 이 전략은 무조건적 협력자를 이용할 수 있는 동시에 상호 배신 사이클에서도 회복할 수 있습니다.

Generous Tit-for-Tat

Tit-for-Tat과 유사하지만, 낮은 확률(약 10%)로 가끔 배신을 용서합니다. 이는 의사소통 오류나 노이즈로 인한 상호 보복 사이클을 끊어주며, 의도를 불완전하게 관찰하는 현실 세계 조건에서 중요합니다.

Always Defect (합리성의 함정)

단발성 게임에서의 Nash 균형 전략입니다. 반복 토너먼트에서는 영구적인 보복을 유발하고 상호 협력의 이득을 놓치기 때문에 낮은 점수를 받습니다.

민간 정리 (Folk Theorem)

게임 이론의 핵심 결과인 **민간 정리(Folk Theorem)**는 무한 반복 게임에서, 플레이어들이 충분히 미래를 중시한다면 모든 플레이어에게 그들의 "미니맥스" 보수(강제될 수 있는 최악의 결과)보다 더 많은 이득을 주는 어떠한 결과도 Nash 균형으로 유지될 수 있다고 말합니다.

쉽게 말하면: 플레이어들이 반복적으로 상호작용하고 미래를 중시한다면, 순전히 이기적인 행위자들 사이에서도 협력이 가능합니다. 조건은 미래의 상호작용이 배신에 따른 보복을 감수할 만큼의 가치가 없을 정도로 충분히 중요해야 한다는 것입니다.

이는 다음을 설명합니다.

• 장기적인 사업 파트너십이 일회성 거래보다 더 정직한 경향이 있는 이유
• 작은 공동체가 익명의 도시보다 규범을 더 잘 시행하는 이유
• 어떤 분야에서든 반복적으로 참여하는 플레이어들이 행동을 제약하는 평판을 쌓는 이유

진화 게임 이론

전략들이 단일 토너먼트가 아닌 진화적 집단에서 경쟁하면 어떻게 될까요? 잘 수행하는 전략은 퍼지고, 잘 수행하지 못하는 전략은 사라집니다.

Axelrod의 후속 분석은 Tit-for-Tat이 진화적으로 안정적임을 보여주었습니다. Tit-for-Tat을 구사하는 집단은 항상-배신자들의 침략을 받지 않습니다. 왜냐하면 배신자들이 Tit-for-Tat을 상대할 때의 성과가 Tit-for-Tat이 자기 자신을 상대할 때보다 나쁘기 때문입니다.

이는 생물학에 심오한 함의를 가집니다. 많은 형태의 동물 협력(호혜적 이타주의, 그루밍, 경고 신호)을 집단 선택이나 이타주의 없이도 반복 게임 역학으로 설명할 수 있습니다.

두 명 이상의 플레이어: n인 딜레마

죄수의 딜레마는 임의의 수의 플레이어로 일반화됩니다. 공유지의 비극은 n인 딜레마입니다. 집단적 남용이 모두를 위한 자원을 파괴하더라도, 각 개인은 공유 자원(어장, 대기, 지하수)을 남용하려는 동기를 가집니다.

n인 딜레마의 해결책은 다음과 같습니다.

• 반복적 상호작용과 평판 — 소규모 공동체에서 잘 작동
• 의사소통과 협상 — 구속력 있는 합의를 가능하게 함
• 제도적 강제 — 제3자의 규칙과 처벌
• 보수 변경 — 개인적 동기를 바꾸는 세금, 보조금, 또는 규범

Elinor Ostrom은 공동체가 지역 제도를 통해 공유지 딜레마를 해결하는 방법을 기록한 공로로 2009년 노벨 경제학상을 수상했습니다. 이는 외부 강제가 항상 필요하다는 가정에 대한 중요한 도전이었습니다.

핵심 용어 요약

용어	정의
우월 전략	다른 플레이어가 무엇을 하든 최선인 전략
Nash 균형	어떤 플레이어도 전략을 홀로 바꿔서 이득을 볼 수 없는 상태
파레토 최적	모든 사람을 더 낫게 만드는 결과가 존재하지 않는 상태
협력	모든 당사자에게 이익이 되는 상호 자제
배신	타인에게 해를 끼치는 이기적인 이탈
Tit-for-Tat	상대방의 마지막 행동을 따라 한다; 협력으로 시작
민간 정리	무한 반복 게임에서 협력이 달성 가능하다
반복 게임	같은 플레이어들이 여러 번 하는 동일한 게임

직접 플레이해 보기

이러한 역학을 이해하는 가장 좋은 방법은 직접 경험하는 것입니다. Prisoner's Dilemma Arena에서는 착취당하기 쉬운 Saint부터 냉혹한 Betrayer까지 일곱 가지 AI 전략을 상대로 10라운드 반복 게임을 플레이하고, 협력률, 라운드 기록, 점수 분석을 확인할 수 있습니다.

각 전략을 순서대로 시도해 보세요.

1. Saint (항상 협력)를 상대로 시작 — 착취의 유혹이 얼마나 강한지 확인
2. Mirror (Tit-for-Tat) 플레이 — 상호 협력이 얼마나 빨리 안정되는지 관찰
3. Grim Reaper 상대 — 한 번의 배신으로 관계가 영원히 끝남
4. Betrayer 대결 — Nash 균형의 실제; 1/1보다 나은 결과를 낼 수 없음
5. Win-Stay (Pavlov) 도전 — 착취를 응징하는 미묘한 전략

각 게임 후 분석 패널은 협력률과 AI의 행동을 보여주어, 자신이 합리적 경제학자처럼 플레이했는지, 아니면 진화적으로 성공한 협력자처럼 플레이했는지 확인할 수 있습니다.

결론

죄수의 딜레마는 깊은 진실을 드러냅니다. 개인적 합리성과 집단적 복지는 종종 충돌합니다. 이 충돌을 이해하고 — 그럼에도 협력이 나타나는 조건을 이해하는 것은 — 20세기 사회과학에서 가장 실용적으로 유용한 통찰 중 하나입니다.

교훈은 사람들이 항상 배신한다는 것이 아닙니다. 협력에는 올바른 조건이 필요하다는 것입니다. 반복적 상호작용, 명확한 의사소통, 강제 가능한 합의, 또는 평판에 대한 위험 부담이 그것입니다. 이러한 조건이 존재하면 순전히 이기적인 행위자들도 협력합니다. 그렇지 않으면 상호 처벌의 소용돌이로 빠져듭니다.

게임 이론은 냉소주의를 처방하지 않습니다. 게임 이론은 협력이 왜 취약한지, 그리고 어떤 구조가 협력을 견고하게 만드는지를 설명합니다.