문과와 이과를 구분할 수 있는 단어가 몇 가지 있다. 그중 하나가 limit이다. 문과는 ‘제한하다’로, 이과는 ‘극한’으로 번역한다. 대부분의 학생은 극한의 개념을 쉽게 받아들인다. 하지만 엄밀한 극한의 개념은 대학 과정에서 배운다. 극한의 정의는 대학교 수학과 학생들도 명확히 이해하기 어려울 정도기 때문이다. 그런데도 고등학교에서 극한을 배우는 이유는 무엇일까. 극한은 왜 필요한 것일까. 극한이 도입된 계기는 미분 때문이다. 미분의 창시자로 여겨지는 17세기 뉴턴과 라이프니츠는 각각 다른 배경에서 다른 개념으로 극한을 도입했다.
극한(limit)은 어떤 함수가 특정한 점에 접근할 때 그 함수의 값이 어떻게 변하는지를 나타내는 개념이다. 쉽게 말해, 함수의 값이 어떤 점에 한없이 가까워질 때 그 값이 얼마인지 알아내는 것이다. 함수 f(x)가 존재한다고 하자. x가 어떤 값 a에 가까워질 때 그 함숫값이 L에 가까워진다면, 우리는 f(x)f의 극한을 L이라고 한다.
뉴턴은 사과가 떨어지는 현상에서 착안해 중력과 만유인력을 포함한 역학을 설명하기 위해 미분의 개념을 도입했다. 많은 물체는 곡선으로 움직이는데, 이를 아주 짧은 시간 간격으로 나누어 생각하면 그 움직임이 직선으로 변한다. 뉴턴은 이러한 움직임을 정의하기 위해 미분을 도입했고, 이를 통해 극한의 개념을 직관적으로 설명했다. 뉴턴은 극한의 개념을 사용해 미분을 정의하고, 이를 통해 물체의 운동을 분석했다. 비록 뉴턴의 극한에 대한 정의는 오늘날의 엄밀한 정의와 차이가 있지만, 그는 물리학적 문제를 해결하기 위해 유율(fluxions)이라는 개념을 사용했다.
어떤 함수의 그래프에서 두 점을 연결하면 두 점 사이의 평균 변화율을 구할 수 있다. 그런데 한 점이 다른 한 점으로 무한히 다가오게 되면, 두 점 사이의 평균 변화율이 아닌 한 점에서의 접선을 구할 수 있다. 한 점에서의 접선의 변화율을 미분으로 정의하는데, 여기에서 한 점이 다른 한 점으로 무한히 다가가는 것이 극한이다. 이렇게 라이프니츠는 함수 그래프의 미분을 구하기 위해 극한의 값을 사용했다.
가설을 만드는 데 효과적인 귀납적 연구 방법은 전제들이 참이라고 하더라도 결과가 참이 아닐 수 있는 큰 오류가 있지만, 수학적 귀납법은 n이 특정한 값에서 참이고, n이 k일 때 참이라고 한다면 k+1일 때도 참이 된다는 것을 증명함으로써 절대 오류가 없음을 알 수 있다. “x값이 a에 접근할 때”라는 말에서 나오는 모호함을 명확히 하고자 하는 수학자가 오귀스탱 루이 코시다.
코시는 앞에서 다룬 극한의 개념을 엄밀하게 정의했다. 그의 정의는 대학교에서 다루는 개념이다. 랜덤으로 뽑은 양수 (엡실론)에 대해, 0보다 큰 어떤 수 δ(델타)가 존재해, 0 바이어슈트라스는 현재 사용하는 lim 기호를 처음 사용하고 -δ 정의를 더욱 공고히 했다. 다음 수식이 바이어슈트라스가 사용했던 기호이면서 현재도 우리가 사용하고 있는 기호다.
또 바이어슈트라스는 엄밀하게 정의된 극한을 바탕으로 미분과 적분의 개념을 체계적으로 정립했다. 이에 따라 경제, 물리, 생물, 화학 등 여러 분야에서 극한, 미분, 적분의 개념을 활용해 학문을 발전시킬 수 있었다.
그런데 왜 고등학교에서는 극한의 엄밀한 정의를 배우지 않는 것일까. -δ정의는 매우 추상적이고 복잡한 개념이다. 고등학생들이 이 개념을 이해하기에는 적절한 발달 단계에 있지 않기 때문이다. 그래서 미적분학의 엄밀한 정의를 배우기보다 기초 개념을 이해하는 데 중점을 두고 있다. 고등학교 수학 교육은 기본 개념을 이해하고 간단한 문제를 풀 수 있는 능력을 기르는 데 초점을 맞추고 있다. 뉴턴이나 라이프니츠가 설명했던 정도의 기본 개념과 응용을 학습함으로써 수학의 실용성을 이해하고 다양한 문제 해결 능력을 키울 수 있다.
