- IEEE754
- floating-point
- precision
부동소수점이란 무엇인가요?
- 면접 출제
- 실제 면접 출제
- 예상 시간
- 6분
부동소수점(floating point)은 실수를 이진수로 근사해서 표현하는 방식입니다. 정수와 달리 소수점 위치가 고정되지 않고 이동(float)하며, 부호 비트, 지수부, 가수부로 나눠 넓은 범위의 수를 표현합니다. 대부분의 언어는 IEEE 754 표준을 따릅니다.
근사 표현이라 0.1이나 0.2 같은 값을 정확히 표현하지 못합니다. 그래서 0.1 + 0.2 === 0.3이 false가 되는 것처럼 연산 결과에 미세한 오차가 생길 수 있습니다.
고정소수점(fixed point)은 소수점 위치를 미리 정해두는 방식입니다. 예를 들어 16비트 중 8비트를 정수부, 8비트를 소수부로 고정하면 표현 범위와 정밀도가 고정됩니다. 아주 크거나 아주 작은 수를 표현하기 어렵습니다.
부동소수점은 소수점 위치 자체를 함께 저장합니다. 같은 비트 수로 훨씬 넓은 범위를 표현할 수 있습니다. 과학 계산, 그래픽, 머신러닝 등 넓은 범위가 필요한 분야에서 사실상 표준입니다.
꼬리질문
답변 뒤에 이어질 수 있는 질문들을 하나씩 열어볼 수 있어요.
IEEE 754 32비트 float의 비트 구성은?
부호 1비트, 지수부 8비트, 가수부 23비트로 총 32비트입니다. 64비트 double은 지수 11비트, 가수 52비트입니다.
부호 비트는 0이면 양수, 1이면 음수입니다. 지수부는 실제 지수에 편향값(127)을 더해 저장해 음수 지수도 양수로 표현합니다. 가수부는 소수점 이하 자릿수를 저장하며, 정규화된 수는 맨 앞 1비트가 항상 1이어서 생략(hidden bit)합니다. 덕분에 23비트로 실질적으로 24비트 정밀도를 얻습니다.
IEEE 754에서 숫자를 어떻게 저장하나요?
(-1)^부호 × 1.가수 × 2^(지수-편향)으로 표현합니다. 10진수 값을 이진 지수 표기법으로 변환해 저장합니다.
예를 들어 13.5를 64비트 double로 저장하면:
- 13.5 = 1101.1(이진수) = 1.1011 × 2³
- 부호: 0 (양수)
- 지수: 3 + 1023(편향) = 1026 = 10000000010(이진수)
- 가수: 1011 뒤에 0을 채워 52비트
이진수로 정확히 표현되는 소수는 0.5, 0.25, 0.125처럼 2의 음수 거듭제곱으로 딱 떨어지는 수뿐입니다. 0.1은 이진수로 0.0001100110011...처럼 무한 반복이라 잘라서 저장합니다.
0.1 + 0.2가 0.3이 아닌 이유는?
0.1과 0.2 모두 이진수로 정확히 표현할 수 없어 근삿값으로 저장됩니다. 두 근삿값을 더한 결과가 0.3의 근삿값과 미세하게 달라집니다.
Python에서 확인하면:
>>> 0.1 + 0.2
0.30000000000000004
>>> 0.1 + 0.2 == 0.3
False0.1은 실제로 0.1000000000000000055511151231257827021181583404541015625로 저장됩니다. 두 근삿값의 합이 0.3의 근삿값과 다릅니다.
해결 방법은 목적에 따라 다릅니다. 비교할 때는 epsilon(허용 오차)을 써서 차이가 충분히 작으면 같다고 봅니다. 돈 계산처럼 정확도가 중요하면 Python의 decimal 모듈이나 정수 연산(원 단위를 정수로)을 씁니다.
from decimal import Decimal
Decimal('0.1') + Decimal('0.2') # Decimal('0.3')
# 또는 epsilon 비교
abs(0.1 + 0.2 - 0.3) < 1e-9 # True부동소수점에서 오버플로우와 언더플로우는 무엇인가요?
오버플로우는 표현 가능한 최댓값을 넘어 무한대(Inf)가 되는 것이고, 언더플로우는 표현 가능한 최솟값보다 작아 0으로 처리되는 것입니다.
정수의 오버플로우는 숫자가 갑자기 음수로 바뀌지만, 부동소수점은 Inf(무한대)나 NaN(Not a Number)으로 처리됩니다. 계산이 이어져도 Inf나 NaN이 전파됩니다.
>>> float('inf') + 1
inf
>>> float('inf') - float('inf')
nan
>>> 0.0 / 0.0
# ZeroDivisionError (Python은 예외 처리)언더플로우는 매우 작은 수를 계산할 때 정밀도가 0까지 줄어드는 현상입니다. 딥러닝에서 gradient가 너무 작아지면 언더플로우로 학습이 멈추는 문제가 생기는데, 이를 vanishing gradient라고 합니다. mixed precision training(float16/bfloat16)이나 gradient clipping으로 완화합니다.
실수 두 개를 비교할 때 주의할 점은?
==로 직접 비교하면 오차 때문에 의도한 대로 동작하지 않을 수 있습니다. 두 값의 차이가 허용 오차(epsilon) 이내인지로 비교합니다.
a = 0.1 + 0.2
b = 0.3
# 잘못된 비교
a == b # False
# 올바른 비교
abs(a - b) < 1e-9 # True
# Python 내장
import math
math.isclose(a, b) # Truemath.isclose는 상대 오차와 절대 오차를 모두 고려합니다. 두 수의 크기가 크면 허용 오차도 커지고, 0에 가까울 때는 절대 오차를 씁니다.
1 Byte짜리 실수는 없습니다. IEEE 754 최소 단위는 16비트(반정밀도)입니다. 면접에서 "1 Byte 실수 두 개를 비교하라"고 하면 정수나 고정소수점 표현으로 보고 비트 패턴을 직접 비교하거나 epsilon 방식으로 접근하면 됩니다.
부가 설명
IEEE 754는 32비트 단정밀도(float)와 64비트 배정밀도(double)를 정의합니다. 64비트 기준으로 부호 1비트, 지수 11비트, 가수 52비트로 구성됩니다.
한 줄 정리
부동소수점은 실수를 이진 근삿값으로 저장하는 방식으로, 표현 오차가 있어 실수 비교 시 epsilon을 써야 합니다.