Accuracy, Precision and Resolution

By WOOAI

2026-09-27 9 Min Read

측정 기기나 센서, 디지털 장비를 다룰 때 가장 혼동하기 쉬운 두 가지 개념이 바로 정확도(Accuracy)와 해상도/분해능(Resolution)입니다.

결론부터 말씀드리면, 정확도는 측정값이 ‘진짜 값(참값)에 얼마나 가까운가’를 의미하고, 해상도는 기기가 ‘얼마나 미세한 차이까지 읽어내고 표현할 수 있는가’를 의미합니다.

이 두 개념을 시각적으로 이해해 볼 수 있는 간단한 다이어그램을 먼저 살펴보겠습니다. (다이어그램은 ‘정확도’와 흔히 비교되는 ‘정밀도(Precision)’의 과녁 예시를 포함하고 있지만, 정확도의 개념을 잡는 데 유용합니다.)

과녁 중앙에 가까울수록 ‘정확도’가 높습니다.. Source: Trinset / Getty Images

1. 정확도(Accuracy)와 정밀도(Precision): “비슷해 보이지만 완전히 다른 두 녀석”

일상에서는 “이 시계 진짜 정밀해”, “이 저울 정확하네” 하면서 두 단어를 마구 섞어 쓰곤 하죠. 하지만 계측기나 센서를 다루는 엔지니어링의 세계에서는 이 둘을 혼동하는 순간, 엉뚱한 제품을 사서 수백만 원을 날리거나 개발한 보드를 통째로 리콜해야 하는 대참사가 터집니다.

가장 알기 쉬운 다트 과녁 비유부터 꺼내볼게요.

정확도(Accuracy)는 ‘과녁 정중앙(참값)에 얼마나 가깝게 맞혔는가’입니다.내가 쏜 다트 화살이 한가운데 빨간 점(Bullseye) 주변에 쏙쏙 박혔다면, 그건 정확도가 높은 겁니다. 즉, “내가 측정한 값이 실제 세상의 진짜 값(True Value)과 얼마나 일치하느냐”를 따지는 척도죠. 만약 5.00V짜리 기준 전압을 찍었을 때 4.99V나 5.01V가 나온다면 정확도가 아주 훌륭한 계측기입니다.
반면에 정밀도(Precision)는 ‘화살들끼리 얼마나 한곳에 옹기종기 모여 있는가’입니다.정중앙을 맞혔는지는 중요하지 않아요. 화살 5발이 전부 과녁 오른쪽 위 구석탱이 7점짜리 구멍 하나에 빽빽하게 모여 박혔다면? 이건 정확도는 꽝이지만, 정밀도만큼은 기가 막히게 뛰어난 겁니다. 10번을 연속으로 재도 매번 똑같은 숫자를 뱉어내는 끈기, 그게 바로 정밀도입니다.

여기서 실무적인 함정이 하나 나옵니다.

정밀도가 높다고 해서 그 값을 무조건 믿으면 될까요? 절대 아닙니다!

예를 들어 연구실 구석에 몇 년 동안 처박혀 있던 오래된 디지털 멀티미터를 꺼내왔다고 칩시다. 5.000V 전압을 찍어봤더니, 잴 때마다 5.152V, 5.152V, 5.153V가 나옵니다. “와, 값이 하나도 안 튀고 소수점 셋째 자리까지 완벽하게 똑같이 나오네? 대박이다!”라며 감탄하면 초보 티를 내는 겁니다.

이 계측기는 내부 센서나 기준 전압원이 노후화되면서 영점이 0.15V 위로 밀려버린(Offset 오차) 상태입니다. 즉, “정밀도는 끝내주지만, 정확도는 완전히 맛이 간 상태”인 거죠. 이런 계통 오차(Bias)를 잡아내서 원래의 참값으로 영점을 다시 맞춰주는 작업을 우리가 흔히 말하는 ‘교정(캘리브레이션, Calibration)’이라고 부릅니다.

2. 분해능(Resolution): “눈썰미가 좋다고 해서 정답을 맞히는 건 아니다”

분해능은 “이 계측기가 감지하고 화면에 표시할 수 있는 가장 잘게 쪼갠 최소 단위”를 뜻합니다. 한마디로 계측기의 ‘눈썰미’라고 보시면 돼요.

줄자를 떠올려볼까요?

1cm 단위로만 눈금이 그어져 있는 투박한 줄자는 분해능이 1cm입니다. 1mm 단위의 미세한 변화는 눈금 사이에 묻혀서 읽어낼 수가 없죠.
반면에 1mm 단위로 촘촘하게 눈금이 매겨진 버니어 캘리퍼스는 분해능이 1mm, 혹은 0.05mm까지 올라갑니다.

전자 회로나 센서 분야에서는 Resolution을 ADC의 비트 수나 계측기의 표시 자릿수(Digits)와 관련지어 표현하는 경우가 많습니다. 하지만 ADC의 비트 수나 표시 자릿수가 높다고 해서 실제 측정 시스템의 유효한 분해능이 그만큼 높아지는 것은 아닙니다. Noise, Reference의 안정성, 입력 회로, 온도 변화 등 여러 요인에 의해 실제로 구분할 수 있는 신호의 크기는 달라질 수 있습니다.

하지만 여기서 엔지니어들이 가장 뼈아프게 겪는 치명적인 착각이 있습니다.

바로 “분해능이 높으면 정확도도 당연히 높겠지?”라는 근거 없는 믿음입니다.

실제 센서 개발 현장의 흔한 비극을 하나 들려드릴게요.

정밀한 무게 측정을 위해 최대 100kg을 잴 수 있는 산업용 로드셀에 초고스펙 24비트 ADC를 붙여서 저울을 만들었습니다. 이론상 24비트면 1,600만 분의 1까지 쪼갤 수 있으니, 100kg짜리 저울에서 무려 0.006g 단위의 극미세한 변화까지 감지할 수 있는 엄청난 스펙이죠.

그런데 막상 전원을 켜고 10.000kg짜리 기준 분동을 떡하니 올려두면 무슨 일이 벌어질까요?

화면의 숫자가 가만히 멈춰있질 않고 10.002kg -> 10.015kg -> 9.991kg -> 10.008kg 하면서 마치 춤을 추듯 미친 듯이 요동칩니다.

왜 이런 일이 생길까요?

계측기의 눈썰미(분해능)는 0.006g을 볼 수 있을 만큼 극도로 밝아졌는데, 정작 센서 주변에 굴러다니는 전원 노이즈, 회로의 열잡음, 심지어 작업실 에어컨 바람에 의한 미세한 공기 흔들림까지 모조리 ‘신호’로 착각해서 숫자로 띄워버리기 때문입니다.

노이즈가 1g 단위로 출렁거리고 있는데, 소수점 아래 0.001g 단위까지 보여주는 높은 분해능이 도대체 무슨 의미가 있을까요? 그냥 노이즈 찌꺼기를 초고화질로 감상하고 있는 것에 불과합니다.

그래서 실무 회로 설계자들은 스펙 시트에 적힌 단순한 비트 수(분해능)만 보지 않습니다. 노이즈를 싹 걷어내고 실제로 믿고 쓸 수 있는 알맹이 분해능인 유효 비트 수(ENOB, Effective Number of Bits)가 과연 몇 자리나 나오는지를 목숨 걸고 확인하는 이유가 바로 여기에 있습니다.

한 줄로 딱 끝내는 세 개념의 관계

분해능(Resolution): 얼마나 잘게 쪼개서 볼 수 있는가? (눈썰미)

정밀도(Precision): 몇 번을 반복해서 재도 똑같은 자리를 가리키는가? (손의 안정감)

정확도(Accuracy): 그래서 그게 진짜 정답(참값)에 얼마나 가까운가? (과녁 적중)

구분	정확도 (Accuracy)	정밀도 (Precision)	분해능 (Resolution)
개념 정의	측정값이 ’참값(True Value)’에 얼마나 가까운가?	동일한 조건에서 반복 측정했을 때 ‘측정값들끼리’ 얼마나 일치하는가?	계측기가 감지하고 표시할 수 있는 ‘최소 변화량(단위)’
핵심 키워드	계통 오차(편향, Bias), 캘리브레이션	우연 오차(산포, Repeatability), 노이즈	표시 자릿수(Digits), ADC 비트 수(Bit)
다트 과녁 비유	화살이 정중앙(불스아이) 근처에 꽂힘	화살들이 어디든 한곳에 옹기종기 모여 꽂힘	과녁 판의 눈금이 얼마나 촘촘하게 쪼개져 있는가
망가지는 원인	센서 영점 틀어짐, 노후화, 교정(Calibration) 미비	회로 열잡음, 전원 노이즈, 측정 환경 흔들림	디스플레이 한계, ADC의 비트 분해능 한계

눈썰미(분해능)가 아무리 좋아도 손이 덜덜 떨리면(낮은 정밀도) 엉뚱한 값을 읽게 되고, 손이 아무리 침착해도(높은 정밀도) 영점 조준이 빗나가 있으면 엉뚱한 곳에 정확하게 총알을 박을 뿐입니다. 계측기나 센서를 고를 때는 이 세 가지가 각자 따로 노는 톱니바퀴라는 점을 반드시 기억 합시다.

Accuracy 확인하는 방법

계측기 스펙 시트를 보면 정확도(Accuracy)는 단순한 숫자 하나로 적혀 있지 않고, 꽤 복잡한 수식이나 백분율로 표기되어 있습니다. 제조사들은 자신들의 기기가 낼 수 있는 ‘최악의 오차(최대 오차)’를 기준으로 스펙을 보증하기 때문입니다.

실제 산업 현장이나 취미로 자주 접하는 기기들을 예로 들어 이 정확도가 어떻게 표기되는지, 그리고 그 숫자가 실제로 의미하는 바가 무엇인지 살펴보겠습니다.

* 디지털 멀티미터 (DMM) 아두이노(Arduino)로 회로를 구성하거나 전압을 잴 때 가장 많이 쓰는 기기입니다. 멀티미터의 스펙 시트를 보면 정확도가 보통 이렇게 적혀 있습니다.

표기 예시: ±(0.5% of reading + 2 digits)
해석: 측정된 값(reading)의 0.5%에 해당하는 오차와, 맨 마지막 자리 숫자(digit)가 2만큼 바뀔 수 있는 오차를 합친 것이 최대 오차라는 뜻입니다. 만약 10.00V를 측정했다면, (10.00 * 0.005) + 0.02 = 0.07V. 즉, 실제 값은 9.93V에서 10.07V 사이에 존재한다는 것을 제조사가 보증합니다.

* 산업용 PLC (아날로그 입력 모듈) LS일렉트릭 같은 산업용 제어 장비에서 온도나 압력 센서의 값을 읽어 들일 때 쓰는 아날로그 모듈입니다.

표기 예시: ±0.1% Full Scale (F.S.)
해석: 기기가 측정할 수 있는 전체 범위(Full Scale)를 기준으로 오차를 잡습니다. 만약 모듈이 0~10V를 측정할 수 있다면, 전체 범위는 10V입니다. 따라서 내가 1V를 재든 9V를 재든 상관없이 오차는 항상 10V * 0.001 = 0.01V가 됩니다. 측정값이 작을수록 오차율이 상대적으로 커지는 특징이 있습니다.

* 정밀 온습도 센서

표기 예시: ±0.2°C @ 25°C, ±2% RH
해석: 특정 조건(예: 섭씨 25도)에서 쟀을 때 실제 온도와 최대 0.2도 차이가 날 수 있다는 뜻입니다. 센서들은 주변 환경(온도, 습도)에 민감하기 때문에 ‘어떤 조건에서 측정한 정확도’인지를 명시하는 경우가 많습니다.

스펙상의 정확도는 ‘최악의 경우(Worst Case)’입니다

제조사가 ±1% 정확도를 보증한다고 해서, 매번 측정할 때마다 1%씩 꼬박꼬박 틀린다는 의미가 아닙니다. 실제로는 그보다 훨씬 적은 오차를 내는 경우가 대부분입니다.

이를 이해하려면 자연계의 에러 분포인 정규분포(Normal Distribution)를 떠올리면 됩니다. 수많은 측정값들은 참값(True Value)을 중심으로 종 모양(Bell Curve)을 그리며 모이게 됩니다.

정규분포로 보는 ‘진짜’ 오차 확률

계측기의 정확도 사양은 단순히 “평균적으로 얼마나 틀리는가”를 의미하지 않습니다. 제조사가 정해진 측정 조건에서 보증하는 최대 허용 오차와 관련된 사양이며, 온도·시간·측정 범위·교정 상태 등 조건에 따라 달라질 수 있습니다. 따라서 데이터시트의 Accuracy를 확인할 때는 숫자 자체뿐 아니라 적용 조건과 측정 방법까지 함께 확인해야 합니다.

중앙 집중의 법칙: 기기가 10.00V를 측정했다면, 내부적인 노이즈나 미세한 온도 변화 때문에 9.99V나 10.01V로 미세하게 흔들리더라도 대부분의 측정값은 참값 근처(가운데)에 볼록하게 모입니다.
확률적 접근 (3 시그마 규칙): 통상적(항상그렇다는것은 아님)으로 신뢰성 있는 계측기 제조사는 스펙상 정확도를 표준편차(σ, 시그마)의 3배(3σ) 구간 이상으로 넉넉하게 잡습니다.
- 1σ 범위 내: 약 68.2%의 측정값이 참값에 아주 가깝게 나옴
- 2σ 범위 내: 약 95.4%의 측정값이 존재
- 3σ 범위 내: 약 99.7%의 측정값이 존재
결론: 만약 제조사가 ±1%의 정확도를 보증한다면, 이는 “99.7% 이상의 확률로 오차가 1%를 넘지 않는다”는 뜻입니다. 따라서 우리가 일상적으로 계측기를 쓸 때는 명시된 스펙(최대 오차)보다 실제 오차가 훨씬 적게 (보통 절반 이하로) 나오는 것이 지극히 정상입니다.

기계를 믿고 쓰되, 그 기계가 내건 숫자(스펙)가 ‘평균적인 오류’가 아니라 ‘내가 보증하는 최악의 마지노선’이라는 점을 기억하면 데이터를 훨씬 더 신뢰도 있게 다룰 수 있습니다.

측정 현장에서 Accuracy만 보면 안 되는 이유

앞에서 Accuracy, Precision, Resolution의 차이를 살펴봤습니다. 그렇다면 실제 테스트 현장에서 계측기를 선택할 때는 Accuracy만 확인하면 충분할까요?

그렇지 않습니다.

실제 측정 결과의 신뢰성을 판단하려면 Accuracy뿐만 아니라 Resolution, Repeatability, Measurement Uncertainty, Calibration까지 함께 고려해야 합니다. 예를 들어 어떤 계측기의 Accuracy가 매우 좋다고 하더라도, 측정하려는 신호의 변화량보다 Resolution이 크거나 반복 측정 결과가 크게 변한다면 원하는 테스트 결과를 얻기 어렵습니다. 반대로 Resolution이 매우 높은 계측기라고 해서 실제 측정값이 정확하다는 의미도 아닙니다.

Accuracy와 Resolution은 서로 다른 문제입니다

예를 들어 실제로 10.000 V를 측정해야 하는 상황에서 다음과 같은 두 계측기가 있다고 가정해 보겠습니다.

계측기 A

10.00 V

계측기 B

10.0000 V

B가 더 많은 자릿수를 표시하기 때문에 더 좋은 계측기처럼 보일 수 있습니다. 하지만 표시 자릿수가 많다는 사실만으로 B의 실제 측정 정확도가 더 높다고 판단할 수는 없습니다. Resolution은 작은 변화를 구분하거나 표시할 수 있는 능력과 관련된 개념이고, Accuracy는 측정 결과가 기준값에 얼마나 가까운지를 나타내는 개념이기 때문입니다.

따라서 계측기를 선택할 때는

“몇 자리까지 표시할 수 있는가?”

만 확인하는 것이 아니라,

“그 값을 실제로 얼마나 정확하게 측정할 수 있는가?”

를 함께 확인해야 합니다.

Repeatability도 확인해야 합니다

테스트 시스템에서는 하나의 값을 한 번 측정하고 끝나는 경우보다 동일한 조건에서 반복 측정을 수행하는 경우가 많습니다.

예를 들어 동일한 DUT를 100회 테스트했는데 결과가 다음과 같이 나온다고 생각해 보겠습니다.

5.001 V
5.002 V
5.001 V
5.002 V
5.001 V

측정 결과가 매우 좁은 범위에 반복적으로 나타난다면 해당 조건에서 Repeatability가 좋다고 볼 수 있습니다.

하지만 여기에도 중요한 문제가 있습니다.

반복해서 같은 값이 나온다고 해서 그 값이 반드시 실제 값과 가까운 것은 아닙니다.

예를 들어 실제 값이 5.000 V인데 측정 시스템의 Offset 때문에 항상 5.050 V 부근에서 측정된다면,

5.049 V
5.050 V
5.050 V
5.051 V

처럼 매우 안정적인 결과를 얻으면서도 실제 값에서는 벗어날 수 있습니다.

즉,

Repeatability가 좋다는 것과 Accuracy가 좋다는 것은 서로 다른 문제입니다.

이 차이는 자동화 테스트 시스템에서 특히 중요합니다.테스트 결과가 반복적으로 동일하게 나온다고 해서 곧바로 테스트 시스템이 정확하다고 판단해서는 안 됩니다.

Measurement Uncertainty까지 고려해야 합니다

실제 측정에서는 “측정값은 정확히 이 값이다”라고 말하기 어려운 경우가 많습니다.

측정 결과에는 계측기 자체의 특성뿐만 아니라 여러 요인이 영향을 주기 때문입니다.

예를 들면,

계측기의 성능
Calibration 상태
측정 방법
온도와 환경 조건
측정 리드 및 연결 상태
Reference의 불확도
반복 측정에 따른 변동
DUT 자체의 변동

등이 있습니다.

따라서 실제 측정 결과의 신뢰성을 평가할 때는 Measurement Uncertainty(측정불확도)라는 개념이 필요합니다.

NIST에서는 측정 결과를 정량적으로 표현할 때 Measurement Uncertainty를 함께 고려하도록 설명하고 있습니다. 또한 불확도는 하나의 원인으로만 발생하는 것이 아니라 여러 불확도 성분으로 구성될 수 있으며, 이를 평가하여 최종적인 측정불확도를 산출할 수 있다고 설명합니다.

예를 들어 다음과 같은 결과가 있다고 가정해 보겠습니다.

측정 결과 = 10.000 V
측정불확도 = ±0.010 V

이 경우 단순히 “10.000 V를 측정했다”라고 기록하는 것보다, 어떤 조건에서 어느 정도의 불확도를 가진 측정 결과인지를 함께 이해하는 것이 중요합니다.

NIST에서는 불확도 성분을 평가하는 방법을 Type A와 Type B로 구분하고 있으며, 여러 불확도 성분을 결합하여 Combined Standard Uncertainty를 계산하는 방법도 제시하고 있습니다.

따라서 정밀한 테스트 시스템을 설계할 때는 계측기의 Accuracy만 확인하는 것보다 전체 Measurement System에서 발생할 수 있는 불확도까지 고려하는 것이 중요합니다.

Calibration은 정확도를 유지하기 위한 중요한 요소입니다

Calibration도 여기서 함께 생각해야 합니다.

Calibration을 단순히 계측기를 정확하게 만들어주는 작업이라고 생각하기 쉽지만, 실제로는 측정기와 측정 표준 사이의 관계를 확인하고 그 특성을 평가하는 과정으로 이해하는 것이 더 정확합니다.

따라서 Calibration을 받았다는 사실만으로 모든 측정 결과가 정확하다고 판단해서는 안 됩니다.

예를 들어 Calibration이 정상적으로 완료된 멀티미터라도,

측정 범위가 적절하지 않거나
사용 환경이 사양 범위를 벗어나거나
측정 리드의 영향이 크거나
측정 방법에 문제가 있거나
DUT 자체의 변동이 크다면

원하는 수준의 측정 신뢰성을 확보하지 못할 수 있습니다.

즉,

Calibration은 측정 시스템의 신뢰성을 확보하기 위한 중요한 조건이지만, 측정 결과의 품질을 결정하는 유일한 요소는 아닙니다.

결국 무엇을 확인해야 할까?

결국 테스트 엔지니어가 계측기를 선택할 때는 Accuracy 하나만 보는 것이 아니라 다음 항목을 함께 확인해야 합니다.

항목	확인해야 할 내용
Accuracy	기준값과 얼마나 가까운가
Resolution	얼마나 작은 변화를 구분할 수 있는가
Repeatability	동일 조건에서 반복 측정했을 때 얼마나 안정적인가
Measurement Uncertainty	최종 측정 결과를 어느 정도의 불확도로 판단할 수 있는가
Calibration	측정 시스템이 적절한 기준과 연결되어 있는가

이 중 어느 하나만 높다고 해서 좋은 측정 시스템이 되는 것은 아닙니다.

예를 들어 Resolution은 매우 높지만 Accuracy가 낮은 계측기, 또는 Accuracy는 좋지만 테스트 환경의 Noise 때문에 Repeatability가 좋지 않은 측정 시스템도 있을 수 있습니다. 따라서 실제 테스트에서는 계측기의 사양만 보는 것이 아니라,

측정하려는 대상 → 필요한 측정 범위 → 요구되는 Resolution → Accuracy → Repeatability → 전체 Measurement Uncertainty → Calibration 상태

를 순서대로 확인하는 것이 중요합니다.

NIST에서도 Accuracy, Precision, Repeatability 및 Measurement Uncertainty를 서로 구분되는 측정학적 개념으로 설명하고 있습니다. 특히 Accuracy는 정량적인 하나의 값으로 이해하기보다는 측정 결과가 기준값에 얼마나 가까운지를 나타내는 정성적인 개념으로 설명하며, 측정 결과의 정량적인 신뢰성을 표현할 때는 Measurement Uncertainty를 함께 고려합니다.

따라서 테스트 엔지니어에게 중요한 것은 단순히 “정확도가 좋은 계측기를 선택하는 것”이 아닙니다.

내가 필요한 테스트 요구사항을 만족할 수 있는 측정 시스템을 구성하는 것이 더 중요합니다.

이것이 실제 측정 현장에서 Accuracy만 확인해서는 안 되는 이유입니다.