다음 도형을 빨강, 초록, 파랑 세 가지 색으로 색칠하는 경우의 수를 생각해보자.

네 칸을 세 가지 색깔로 칠하는 경우의 수는 $3^4 = 81$ 이다.

이제 우리가 이 삼각형을 회전하거나 뒤집을 수 있다고 해보자. 그리고 회전하거나 뒤집었을 때 같은 모양이면 중복이라고 치자.

예를 들어 가운데는 빨간색이고 나머지는 파란색이라고 해보자. 이 삼각형을 왼쪽으로 120도 돌리든, 좌우로 뒤집든 똑같은 모양일 것이다. 이런 경우는 같은 모양으로 취급하자는 것이다. (아래 그림)

이런 중복을 모두 제거했을 때, 위 도형의 각 칸을 색칠하는 경우의 수는 당연히 81보다 적을 것이다. 정확히 몇 개일까?

일일이 세어봐도 언젠가 답을 찾을 수는 있다. 하지만 색깔이 다섯 가지가 되고, 삼각형이 좀 더 복잡해지면 일일이 세는 방법으로는 답을 못 찾는다. 따라서 이렇게 특수한 사례에 맞는 방법이 아닌, 좀 더 일반화된 체계가 필요하다.

추상대수학을 이용하면 답을 구할 수 있는데, 차근차근 알아보자.

우선 이 문제는 두 개의 집합을 포함한다. 하나는 삼각형을 회전하거나 뒤집는 방법들로 구성된 집합이다. 이 집합은 다음과 같이 구성된다.

$\text{S(tri)} = \{e, a, b, r, s, t\}$ .

각 원소가 의미하는 것은 이렇다. $e$ 는 삼각형을 그대로 두는 것이고, $a$ 는 왼쪽으로 한 칸 돌린 것, $b$ 는 오른쪽으로 한 칸 돌린 것이다. $r$ 은 좌우 반전, $s$ 는 왼쪽 아래 꼭지점을 기준으로 해서 나머지 두 꼭지점을 교환한 것, $t$ 는 오른쪽 아래 꼭지점을 기준으로 해서 나머지 두 꼭지점을 교환한 것이다. 즉 $a$ 와 $b$ 는 회전이고, $r,\;s,\;t$ 는 뒤집기다.

이런 회전, 뒤집기를 '작용'이라고 한다. $\text{S(tri)}$ 는 평범한 집합이기도 하지만, 단순히 집합보다는 몇 가지 특징적인 성질을 더 띠므로 수학에선 군(Group)이라고 부른다. 그 특징이란 다음과 같다.

첫째, 원소들을 아무리 반복해서 실행해도, 결국 집합 안에 있는 원소로 표현된다. 예를 들어 $a$ 다음 $r$ 다음 $s$ 다음 $t$ 를 하고 거기에 아무리 많은 원소를 다시 실행해도, $\text{S}$ 의 원소 중 한 가지로 표현된다. 삼각형을 회전하거나 뒤집는 새로운 방법은 없다.

둘째, 작용 순서를 따질 때 괄호가 필요 없다. 즉 $a \circ (b \circ r) = (a \circ b) \circ r = a \circ b \circ r$ 이다.

셋째, $e$ 는 제자리다.

넷째, 어떤 원소를 정하든, 그 원소에 다른 원소를 곱하면 제자리로 돌릴 수 있다. 예를 들어 $a$ 로 왼쪽 회전을 했으면, $b$ 를 곱해 제자리로 돌릴 수 있다.

아무튼, 이제 이 문제가 포함하는 다른 집합을 생각해보자. 바로 삼각형 모양들의 합이다. 이 집합을 $\text{X}$ 라고 하자. 결국 우리는 이 집합에 원소가 몇 개인지 궁금한 것이다. 위에서 확인했듯 $\text{X}$ 에는 81개보다 더 적은 원소가 있다. 몇 개인지 아직은 모르지만.

두 집합의 관계를 생각해보자. $\text{S}$ 안에 있는 원소들은 $\text{X}$ 안에 있는 원소들을 변화시킨다. 예를 들어 $x_1 \in \text{X}$ 가 아래 모양이라고 하자.

$\text{S}$ 의 원소 $a$ 는 이 도형을 왼쪽으로 회전시켜 다음 $x_2 \in \text{X}$ 로 만들 것이다.

이렇게 $\text{S}$ 의 원소들이 $\text{X}$ 의 원소들에 '작용'하는 것을 '군의 작용(Group action)'이라고 한다.

자, 이제 군과 군의 작용에 대해서 알게 됐다. 재료는 여기서 끝이다. 이제부터 논리를 차근차근 쌓아가보자.

내 생각에는, 천천히 읽으면 초등학생도 이해할 수 있다. 순수수학은 응용수학과 달리 천천히 읽으면 누구나 이해할 수 있다고 '믿는다'.

우선 우리가 중복을 제거하려면 어떻게 하면 좋을지 생각해보자. 아니, 생각해보지 말고 아래 설명만 따라가보자.

$\text{X}$ 의 원소 $x$ 는 어떤 삼각형일 것이다. 그게 어떻게 색칠됐는지는 모르겠지만, 임의의 삼각형이라고 치자. 이 삼각형에 $\text{S}$ 의 원소를 하나씩 차례대로 작용시켜보자. 즉 $x$ 를 회전하고, 뒤집어보자는 것이다. 그렇게 만들어진 $x$ 의 복제품들을 모아놓은 것을 "궤도"라고 하고, 군론에서는 $\text{Orb }x$ 라고 한다. 똑같은 모양, 즉 중복인 삼각형들을 담아놓는 주머니라고 생각하면 된다. 그리고 그 주머니에 $x$ 라고 스티커를 붙여놓은 셈이다.

자, 우리는 방금 하나의 즉 $x$ 에 대해서 그것과 중복인 녀석들을 모두 찾아서 $x$ 의 궤도 안에 가두었다. 이 궤도에 있는 녀석들을 제외하고, $\text{X}$ 의 다른 원소들에 대해서도 각각 궤도를 찾으면 여러 개의 궤도가 나올 것이다. 즉 여러 주머니가 나온다.

결국, 회전하거나 뒤집었을 때 중복인 녀석들이 한 개의 주머니에 담겨 있으므로, 중복되지 않는 도형의 개수는 어떻게 구하면 될까? 바로 주머니의 개수가 된다.

우리는 벌써 답을 어떻게 찾으면 될지 알아냈다. 우리는 문제를 아래와 같이 다시 쓸 수 있다.

집합 $\text{X}$ 를 분할하는 궤도의 개수를 구하라.

그럼 궤도의 개수는 어떻게 구할 수 있을까?

여기서부터 우리는 수학적 추상화를 경험해야 한다. 예를 들어 다음 제안은 '우리가 가진 문제를 추상화해서 생각해보자.'라는 말과 다름 없다.

'우리는 원래의 문제를 잊고, 궤도의 개수를 구하는 것에만 집중한다. 궤도의 개수를 $t$ 같은 미지수로 표현한 후, $t$ 에 관한 방정식을 푼다. 추상대수학에서는 궤도의 개수와 관련된 방정식이 다양하게 연구되어 왔다. 우리는 그 방정식들 중 우리 문제에 적합한 것을 사용한다.'

자, 이제 유용한 방정식들을 인용해보자.

우선 앞으로 제일 유용할 만한 방정식은 "Orbit-stabiliser theorem (궤도-안정자군 정리)"이다. 먼저 안정자군이 뭔지 간단히 설명하자면, 안정자군은 $\text{X}$ 의 원소 $x$ 에 작용할 수 있는 $\text{S}$ 의 원소들 중, $x$ 를 가만히 냅두는 것과 같은 효과를 내는 작용들만 모아놓은 것이다.

예를 들어 위에서 마지막 삼각형을 보자. 왼쪽 아래와 가운데가 빨갛다. 만약 우리가 왼쪽 아래 꼭지점을 그대로 두고, 다른 두 꼭지점을 맞교환하는 뒤집기를 한다고 해보자. 도형이 변하는가? 전혀 변하지 않는다.

이 뒤집기를 우리는 $s$ 라고 했었다. 그리고 삼각형을 그대로 두는 걸 $e$ 라고 했었다. 그러면 이 삼각형의 안정자군은 $\{e,s\}$ 인 것이다. 어떤 원소 $x$ 의 안정자군을 $\text{Stab }x$ 라고 표현한다.

(2편에서 이어서...)