일반적인 학교 공부를 하는 과정에서는 경험하기 힘들지만, 어떤 문제들은 주어진 정보가 너무 많아 오히려 풀리지 않는 답답한 순간을 만날 때가 있습니다. 계산을 아무리 정확하게 해도 모든 데이터에 딱 떨어지는 결과가 존재하지 않는 경우입니다.
점 2개가 주어지면 그 둘을 정확히 지나는 직선은 하나로 정해집니다. 이건 중학교 수학에서도 자연스럽게 받아들이는 사실입니다. 그런데 점이 3개라면 어떨까요? 혹은 4개라면요. 대부분의 경우, 그 모든 점을 정확히 지나는 직선은 존재하지 않습니다. 어느 점을 맞추면 다른 점이 어긋나고, 다른 점을 맞추면 또 다른 곳에서 틈이 생깁니다. 이때 우리는 질문을 바꿀 수밖에 없습니다. “정확한 답은 무엇인가?”가 아니라 “가장 적절한 답은 무엇인가?”로 말이죠.
18세기, 천문학자들은 기존의 천체 위치를 관측해 그 움직임을 예측하거나 새로운 행성을 발견하려고 시도했습니다. 하지만 측정값은 매번 달랐습니다. 분명 천체의 궤도는 정확하고 매끄러울 텐데, 인간의 실수까지 겹치면서 조금씩 다른 자료 중에서 어떤 값을 믿고 어떤 값을 버릴지 알 수 없었습니다. 마치 불규칙한 노이즈가 끼어 있는 것 같았죠. 많은 학자가 이 문제에 어려움을 겪었는데, 그중에서도 독일의 수학자 가우스는 이런 문제를 집요하게 파고들었습니다.
가우스는 오차를 제곱해 합을 최소로 만드는 값이 가장 합리적이라고 보았습니다. 이후 이 방법은 통계학과 데이터 분석의 기본 도구로 자리 잡게 됩니다. 실험값에는 오차가 섞여 있고, 관측에는 언제나 흔들림이 있습니다. 그렇다면 이런 데이터 앞에서 우리는 어떻게 ‘정답’을 이야기할 수 있을까요. 이 질문에서 출발한 방법이 바로 최소제곱법입니다.
최소제곱법은 오차들을 제곱해 더한 값이 가장 작아지도록 만드는 방법입니다. 모든 점을 정확히 지나는 직선을 찾는 것이 아니라, 가장 그럴듯하게 지나가는 직선을 찾는 것이 목적입니다. 여기서 중요한 태도 하나가 드러납니다. 현실의 데이터가 완벽하지 않다는 사실을 인정하면서도 더 나아갈 수 있는 방법을 찾아냈다는 점입니다.
예를 들어 (1, 2), (2, 2), (3, 4)의 세 점이 있다고 해봅시다. 이 세 점을 정확히 모두 지나는 직선은 존재하지 않습니다. 하지만 우리는 이 점들을 대략적으로 관통하는 직선을 하나 그릴 수는 있습니다. 어떤 직선이 더 좋은 직선일까요? 각 점에서 직선까지의 세로 거리, 즉 오차를 구하고, 그 오차들을 제곱해 모두 더합니다. 이 합이 가장 작아지도록 만드는 직선이 바로 최소제곱법이 선택한 직선입니다.
오차를 제곱함으로써 미세한 오차에는 베네핏을, 큰 오차에는 페널티를 주면서 적절한 직선을 결정할 수 있습니다. 그전에는 눈대중으로 그린 ‘적당한 직선’을 그려보는 것에 그쳤지만, 이를 통해 확실한 수학적 기준을 부여한 셈입니다.
이 경우 적절한 직선은 y=x+2/3이라고 할 수 있습니다. 점이 더 많아지더라도 이러한 직선은 정확하게 하나를 구할 수 있는데, 컴퓨터를 활용하면 쉽게 구할 수 있습니다. 직접 구하고 싶다면 고등학교 선택과목인 미적분의 편미분이나 새롭게 교육과정에 들어온 행렬을 이용할 수도 있으니, 관심 있는 학생들은 개인적인 공부 과제로 더 들여보는 것도 좋아 보입니다. 또한 최소제곱법이 가지는 아쉬운 점들을 보완하는 다른 방법도 있으니, 이 또한 수학을 좋아하는 학생이라면 찾아보기에 흥미로운 주제일 것입니다.
최소제곱법은 교과서 속에만 머물지 않습니다. 카메라의 흔들림 보정, 인공지능의 학습 과정, 경제지표 예측까지 거의 모든 데이터 분석의 출발점에 놓여 있습니다. 우리가 스마트폰으로 찍은 사진이 또렷해지는 데에도, 검색 결과가 점점 정교해지는 데에도 이 아이디어가 숨어 있습니다. 정확한 답이 없는 세계에서, 가장 설득력 있는 답을 찾는 방법. 최소제곱법은 계산 기술이기 이전에, 현실을 대하는 수학의 태도라고 볼 수 있을지도 모릅니다.
