“암호 편지 한 장이 한 나라의 여왕을 단두대로 이끌었다면, 우리는 암호를 단지 숫자의 장난으로 볼 수 있을까?”
1586년, 스코틀랜드의 여왕 메리 스튜어트는 옥중에서 편지를 보냈다. 그 편지는 치밀하게 암호화된 기호와 문자로 이루어진 정치적 음모의 기록이었다. 여왕은 잉글랜드의 엘리자베스 1세를 암살하려는 계획을 동료들과 공유했고, 그 내용을 철저히 숨겼다. 그러나 영국의 정보국이 암호문을 가로챘고, 토머스 펠리페스라는 수학자이자 암호 해독가는 그 안의 규칙을 해석해냈다. 그날 단두대에 오른 것은 여왕 한 사람의 운명만이 아니었다. 암호가 역사의 흐름과 권력의 균형을 바꾼 순간이었다.
메리 스튜어트가 사용한 암호는 단순한 단일 치환 암호였다. 알파벳을 일정한 기호나 다른 문자로 바꾸는 방식으로, 당시로서는 강력한 보안 기술이었다. 예를 들어 A는 △, B는 □, C는 ☆ 등으로 바뀌고, 특정 단어들은 전체 기호 하나로 요약되기도 했다. ‘Queen(여왕)’은 하나의 상징 기호로, ‘Death(죽음)’는 약어처럼 표현했다.
하지만 이 암호는 결국 문자의 등장 빈도와 반복 주기를 분석하는 수학적 방식에 의해 해독되었다. 펠리페스는 편지 전체에서 반복되는 기호를 세어, 가장 많이 등장하는 기호가 영어의 ‘E’일 가능성이 높다는 점에 착안했다. 그리고 그 주기를 파악해 특정 간격마다 나타나는 기호의 구조를 분석했고, 그 주기 길이가 소수(예: 7)일 때 해독이 가능하다는 사실을 알아냈다. 소수 간격에서 나타나는 반복은 암호문의 패턴을 읽어내는 결정적 열쇠가 되었다.
이런 방식은 훗날 더 정교한 암호 체계로 발전했다. 특히 오늘날 가장 널리 쓰이는 공개키 암호 시스템인 RSA는 소수의 성질을 기반으로 만들어졌다. RSA의 핵심은 단순하다. 2개의 큰 소수를 곱하면 하나의 커다란 수가 만들어지고, 이 수는 누구나 알 수 있도록 공개된다. 하지만 이 수가 어떤 두 소수를 곱해서 만들어졌는지를 알아내는 것은 매우 어렵다. 예를 들어, 173과 197을 곱하면 3만4081이라는 수가 나오지만, 이 결과를 보고 거꾸로 173과 197을 찾아내는 것은 쉽지 않다. 작은 소수부터 하나하나 대입해봐도 나눠떨어지지 않는다. 결국 원래 사용한 소수보다 작은 수로는 나뉘지 않는다는 사실이 소인수분해를 어렵게 만든다.
즉 소인수분해란 끝없는 나눗셈의 반복이고, 그 안에서 정답을 찾아내는 것은 운에 가깝다. 이게 바로 RSA 암호가 안전한 이유다. “곱은 빠르지만, 나누기는 느리다.” 소수 2개를 곱해 만들어진 수는 금방 계산되지만, 그 수를 거꾸로 쪼개는 건 컴퓨터에도 사막에서 바늘을 찾는 것만큼이나 어렵다.
오늘날의 디지털 보안은 수학에 뿌리를 두고 있다. 특히 소수의 성질은 인터넷뱅킹, 메신저, 신용카드 결제 등 수많은 분야에서 암호화 기술의 핵심 열쇠로 작용해왔다. 하지만 과연 이 안전함은 언제까지 계속될 수 있을까?
현재 대부분의 암호 체계는 ‘2개의 매우 큰 소수를 곱하면, 그 결과를 소인수분해하기 어렵다’는 원리에 기반하고 있다. 이 원리는 지금까지 아주 강력했다. 일반 컴퓨터로는 300자리 이상의 수를 소인수분해하는 데 수천 년이 걸리기 때문이다. 하지만 최근 들어 급속히 발전하고 있는 양자컴퓨터는 기존 계산 방식과 전혀 다른 방식으로 문제를 해결할 수 있다. 이론상으로, 쇼어(Shor)의 알고리즘이라는 양자 알고리즘은 소인수분해를 빠르게 수행할 수 있어 RSA 암호를 무력화할 수 있는 가능성을 보여주었다.
이 때문에 전 세계 보안 전문가들은 ‘포스트·양자 암호(Post-Quantum Cryptography)’에 주목하고 있다. 소수의 곱셈에 의존하지 않고도 안전성을 유지할 수 있는 새로운 암호 알고리즘을 개발 중이다.
그런데도 소수의 구조는 여전히 많은 수학자와 암호학자에게 매혹적인 연구 대상이다. 완벽히 이해되지 않은 이 ‘단순하면서도 복잡한 수’는 여전히 수많은 수학적 비밀을 품고 있으며, 새로운 보안 체계를 위한 영감의 원천으로 남아 있다.
소수는 단지 계산의 대상이 아닌 인류의 언어와 정보, 심지어 생명까지 지켜온 수학적 방패였다. 메리 스튜어트의 단두대 아래에서부터 현대인의 스마트폰 속 메시지에 이르기까지, 소수는 보이지 않는 곳에서 진실을 숨기고, 때로는 자신을 드러내며 역사를 움직였다. 지금 우리는 기술 발전 속에서 새로운 보안 방식을 준비하고 있지만, 그 출발점은 여전히 하나의 질문으로 귀결된다.
“이 숫자, 어디에서 왔을까?”
그 질문에 답하려는 수학자들의 탐구는 지금도 계속되고 있다. 소수는 여전히 비밀을 품고 있고, 이를 푸는 열쇠는 또 다른 수학의 세계 속에 숨어 있다. 그 속에서 우리는 다시, 수학의 쓸모를 묻게 된다.
