연속이란 무엇인가?

연속함수에 관심이 있는 독자라면, ε-δ 정의에 대해 들어보았을 것입니다. 그러나 이 정의는 실수집합, 또는 기껏해야 실수집합의 유한 곱집합에서만 적용 가능합니다. 이번 글에서는 어떻게 해야 좀 더 일반적이고 근본적으로 연속이란 개념을 정의할 수 있는지에 대해 알아보겠습니다.

연속의 고전적 정의

실수집합 사이의 연속함수를 살펴봅시다. 함수 f가 연속이라는 것은, 임의의 실수 a와 x, 임의의 양수 ε에 대해 대응하는 양수 δ가 존재하여

이 성립한다는 것을 의미합니다. 충분히 멋지고 세련된 정의이지만, 열린집합이라는 개념을 이용하여 이 정의를 더 근본적인 관점에서 바라볼 수 있습니다.

R의 열린집합

실수집합 R에서, 열린집합이란 열린구간의 합집합으로 표현 가능한 집합입니다. 구체적으로는, 집합 I의 원소인 각 i에 대해 a_i와 b_i가 실수일 때

인 U를 R의 열린집합이라고 부릅니다. R의 열린집합의 예시로는 (0,1), (2,3)∪(4,5), ∅, R 등이 있습니다. 열린집합이 아주 멋진 집합인 이유는, 열린집합 안에 속하는 각각의 모든 점들이 자신을 포함하고 열린집합에 속하는 각각의 열린구간을 갖는다는 점에 있습니다. 이 말은 곧 열린집합의 모든 점은 충분히 작은 스케일에서 ‘자기 자신 주변의 모든 점’을 포함한다는 의미입니다. 예를 들어, [0,1]은 0을 포함하는 어떠한 열린구간도 [0,1]에 속하지 않기 때문에, 열린 집합이 아닙니다. 실제로, [0,1]은 0 주변의 값들 중 0보다 작은 어떠한 값도 포함하지 않습니다.

R의 열린집합을 이용한 연속의 정의

이제 실수집합 사이의 연속함수를 열린집합을 이용한 관점에서 다시 정의합시다. 함수 f가 연속이라는 것은, 임의의 실수 a와 x, 임의의 양수 ε에 대해 대응하는 양수 δ가 존재하여

를 만족한다는 것입니다. 이는 ‘고전적 정의’와 완전히 일치함을 쉽게 확인할 수 있습니다. 또한 이를 조금 더 발전시켜, 함수 f의 연속이란 R의 임의의 열린집합 U에 대해 열린구간 I가 존재하여

를 만족시키는 것이라고 할 수도 있습니다. 증명은 살짝 더 까다롭지만, 이 정의도 여전히 원래의 정의와 일치함을 쉽게 보일 수 있습니다(독자들도 직관적으로 와닿을 것이라고 생각합니다). 여기서 한 발짝 더 나아가, 최종적으로 다음과 같은 정의를 내립시다: 함수 f: R->R가 연속이라는 것은, R의 열린집합 U에 대해

인 R의 열린집합 V가 존재한다는 것입니다(여기서 f^-1은 역상을 나타내는 기호입니다. 즉, f^-1(U)는 함숫값이 U에 속하는 정의역 R의 모든 원소의 집합을 의미합니다). 그러므로, 함수 f: R->R가 연속이라는 것은 곧 f에 의한 R의 열린집합의 역상이 또한 R의 열린집합이 될 때를 의미합니다.

연속의 위상적 정의

이제 일반적인 집합에서 열린집합의 개념을 정의합시다. 집합 X에 대해, X의 부분집합들을 원소로 갖는 집합 T_X가 아래의 조건을 만족한다고 합시다.

그러면 T_X의 원소를 X의 열린집합이라고 합니다. 시간을 가지고 천천히 음미하다 보면 왜 이런 형태인지 깨달을 수 있을 겁니다. 가령 두번째 조건은 사실 ‘열린집합 안에 속하는 각각의 모든 점들이 자신을 포함하고 열린집합에 속하는 각각의 열린구간을 갖는다’는 멋진 성질을 일반화한 것입니다.

이제 함수 f: X->Y가 연속이라는 것을 f에 의한 Y의 열린집합의 역상이 X의 열린집합이 되는 것이라고 정의합시다. 그러면 이 정의는 기존 f: R->R의 연속의 정의를 아주 자연스럽게 확장한 정의가 됩니다. 또한 f가 연속이라는 것을 아래와 같이 깔끔한 형태로 쓸 수 있습니다.

이쯤 되면 슬슬 헷갈릴 수 있습니다. 이 정의를 직관적으로 한 번 살펴보겠습니다.

만약 U의 역상이 X의 열린집합이 아니라고 합시다. 열린집합이란 곧 모든 점에서 충분히 작은 스케일을 잡으면 ‘자기 자신 주변의 모든 점’을 포함하는 집합이라고 하였습니다. 그렇다면 U의 역상 중 어떤 한 점 a에서는 아무리 작은 스케일에서도 자기 자신 주변의 일부 점이 U의 역상에 포함되지 않게 됩니다. 따라서, a에서 어느 한 곳으로 ‘아주 살짝’ 움직이는 즉시 U의 역상을 탈출할 수 있게 됩니다. 그런데 U는 Y의 열린집합이므로, 충분히 작게 움직이면 어느 곳으로 움직이던 간에 항상 U 안에 있게 됩니다. 따라서 f는 물 흐르듯 연속적인 함수일 수 없습니다. 만약 f가 연속적이어서 a에서의 아주 살짝의 움직임을 f가 보존하여 f(a)에서의 아주 살짝의 움직임으로 대응시킨다면, U의 역상을 탈출한 그 움직임 또한 f(a)에서 아주 살짝의 움직임이어야 합니다. 그런데 a로부터 U의 역상을 탈출했다는 것은 f(a)로부터 U를 탈출했다는 것이고, 아주 살짝의 움직임만으론 열린집합 U를 탈출하는 것이 불가능하기 때문에, f는 불연속일 수밖에 없습니다.

이러한 맥락에서라면, 연속의 정의가 왜 저런 형태일 수밖에 없는지를 이해할 수 있습니다.

위상수학

위에서 정의한 T_X를 부르는 이름이 있습니다. 바로 X의 위상입니다. 그러므로 X의 열린집합은 X의 위상의 원소가 되고, X의 위상은 X의 모든 열린집합의 집합이 됩니다. 위상은 해당 집합의 ‘근처’에 대한 정보를 주는 중요한 대상입니다. ‘근처’만 알면 할 수 있는 일이 많습니다. 연속을 정의하는 일도 그 중 하나입니다. 미분의 개념도 정의역의 전부가 아닌 ‘근처’에서 논하는 개념입니다. 이렇듯 기하적이고 해석적인 일을 실수집합을 벗어나 다양한 집합에서 전개하려면, 위상의 개념이 반드시 필요합니다.

만약 두 집합 사이에 일대일 대응 f가 존재하여 f 자신과 그 역함수 모두가 연속이라면, 두 집합의 위상은 구조적으로 완벽하게 대응됩니다. 때문에 이러한 함수 f를 위상동형함수라고 부릅니다. 또한 두 집합을 오가는 위상동형함수가 존재하는 경우엔, 두 집합이 위상동형이라고 합니다.

수학에 관심이 많다면, 한번 쯤 컵과 도넛이 위상동형이라는 이야기를 들어보았을 겁니다. 이 글을 읽고 난 뒤인 지금이라면, 독자 여러분은 “아하, ‘컵의 표면’ 집합과 ‘도넛의 표면’ 집합에 각각 자연스럽게 위상의 구조를 주었을 때 두 집합을 오가는 일대일 대응이고 역함수와 본래 함수가 모두 ‘연속’인 그러한 함수가 존재한다는 뜻이었구나!”를 자연스럽게 떠올리셨을 것이라 믿어 의심치 않습니다. 본 글이 세상을 위상적 사고로 바라보는 데에 조금이라도 일조했길 바라며, <연속이란 무엇인가?>를 마칩니다.

---

박준호 학생기자 | Mathematics | 지식더하기

참고자료

[1] Topology (Munkres)

ⓒ KAIST부설 한국과학영재학교 온라인 과학매거진 KOSMOS