Latency Numbers Every Programmer Should Know 정리

2026.04.28 게시

Latency Numbers Every Programmer Should Know 정리

원본 계열 자료는 Jeff Dean이 정리한 숫자를 기반으로 하며, Peter Norvig도 유사한 맥락의 내용을 언급한 바 있다. (Gist)

목차
  1. 1. 이게 뭔가?
  2. 2. 시간 단위부터 이해하기
    1. 예시
  3. 3. 대표적인 Latency Numbers
  4. 4. CPU 캐시는 정말 빠르다
    1. 예시
  5. 5. 메모리 접근은 빠르지만 공짜는 아니다
    1. 예시
  6. 6. SSD는 빠르지만 메모리와는 차원이 다르다
    1. 예시
  7. 7. 네트워크는 생각보다 비싸다
    1. 예시
  8. 8. 외부 네트워크는 더 비싸고 불안정하다
    1. 예시
  9. 9. “한 번 호출”과 “여러 번 호출”은 완전히 다르다
    1. 예시
  10. 10. N+1 문제가 위험한 이유
    1. 예시
  11. 11. 캐시는 빠르지만 종류를 구분해야 한다
    1. 예시
  12. 12. 압축은 CPU 비용과 전송 비용의 교환이다
    1. 예시
  13. 13. 디스크는 순차 접근과 랜덤 접근이 다르다
    1. 예시
  14. 14. 현대 하드웨어에서는 숫자가 바뀔 수 있다
    1. 예시
  15. 15. 개발자가 가져야 할 판단 기준
    1. 15.1 이 작업은 CPU 문제인가?
    2. 15.2 이 작업은 메모리 접근 문제인가?
    3. 15.3 이 작업은 디스크 문제인가?
    4. 15.4 이 작업은 네트워크 문제인가?
  16. 16. 실용적인 성능 감각
  17. 17. 한눈에 보는 비유
  18. 18. 최종 정리
  19. 참고 자료

1. 이게 뭔가?

Latency Numbers Every Programmer Should Know는 개발자가 알아두면 좋은 컴퓨터 시스템의 대략적인 지연 시간 목록이다.

여기서 중요한 것은 숫자를 정확히 외우는 것이 아니다. 핵심은 다음 감각을 갖는 것이다.

어떤 작업은 나노초 단위로 끝나고, 어떤 작업은 마이크로초, 어떤 작업은 밀리초 단위로 걸린다. 즉, 코드 한 줄처럼 보여도 실제 비용은 완전히 다를 수 있다.

예를 들어 메모리 접근과 네트워크 왕복은 둘 다 프로그램 입장에서는 “데이터 가져오기”처럼 보일 수 있다. 하지만 실제 시간 차이는 수천 배에서 수백만 배까지 벌어질 수 있다.


2. 시간 단위부터 이해하기

단위 의미
1 ns 1 나노초
1 μs 1 마이크로초 = 1,000 ns
1 ms 1 밀리초 = 1,000 μs = 1,000,000 ns
1 s 1초 = 1,000 ms

컴퓨터 내부에서는 ns, μs, ms 차이가 매우 크다.

사람 입장에서는 모두 “순식간”처럼 보이지만, 컴퓨터 입장에서는 완전히 다른 세계다.

예시

책상 위에 있는 메모지를 보는 것과, 옆 건물에 가서 서류를 받아오는 것은 둘 다 “정보 확인”이다. 하지만 실제 걸리는 시간은 비교가 안 된다.

컴퓨터도 비슷하다.

  • CPU 캐시 접근: 책상 위 메모지 확인
  • 메모리 접근: 서랍 열어서 문서 확인
  • 디스크 접근: 창고에 가서 문서 찾기
  • 네트워크 호출: 다른 지점에 전화해서 답변 받기
  • 외부 네트워크 호출: 해외 지사에 연락해서 답변 받기

3. 대표적인 Latency Numbers

아래 숫자는 대표적인 원본 계열 표에서 자주 인용되는 값이다. 하드웨어, 클라우드 환경, 네트워크 구조에 따라 실제 값은 달라질 수 있다. 중요한 것은 자릿수 차이다. (Gist)

작업 대략적인 시간 감각
L1 cache reference 0.5 ns CPU 바로 옆 데이터 접근
Branch mispredict 5 ns 분기 예측 실패
L2 cache reference 7 ns CPU 캐시 접근
Mutex lock/unlock 25 ns 짧은 동기화 비용
Main memory reference 100 ns RAM 접근
Compress 1KB 3 μs 작은 데이터 압축
Send 2KB over 1Gbps network 20 μs 네트워크 전송 비용
SSD random read 150 μs SSD 랜덤 읽기
Read 1MB sequentially from memory 250 μs 메모리에서 큰 데이터 읽기
Round trip within same datacenter 0.5 ms 같은 데이터센터 네트워크 왕복
Read 1MB sequentially from SSD 1 ms SSD에서 큰 데이터 읽기
Disk seek 10 ms HDD 탐색
Read 1MB sequentially from disk 20 ms HDD에서 큰 데이터 읽기
Send packet California to Netherlands and back 150 ms 장거리 인터넷 왕복

4. CPU 캐시는 정말 빠르다

CPU 캐시는 CPU가 매우 빠르게 접근할 수 있는 작은 저장 공간이다. L1 캐시, L2 캐시 같은 것들이 여기에 해당한다.

표에서 보면 L1 cache reference는 약 0.5ns 수준이다. 반면 메인 메모리 접근은 약 100ns 수준이다.

단순히 보면 메모리도 빠른 것 같지만, L1 캐시에 비하면 훨씬 느리다.

Main memory reference / L1 cache reference
= 100ns / 0.5ns
= 200배

즉, 같은 컴퓨터 안에서도 CPU 가까이에 있는 데이터와 RAM에 있는 데이터는 접근 비용이 크게 다르다.

예시

도서관에서 책을 읽는 상황을 생각해보자.

  • 책상 위에 펼쳐둔 책: L1 캐시
  • 바로 옆 가방 안의 책: L2 캐시
  • 도서관 서가에 있는 책: 메인 메모리
  • 다른 건물 보관소에 있는 책: 디스크
  • 다른 도시 도서관에 있는 책: 네트워크

모두 “책을 가져온다”는 동작이지만, 실제 걸리는 시간은 완전히 다르다.


5. 메모리 접근은 빠르지만 공짜는 아니다

메인 메모리 접근은 약 100ns 수준으로 볼 수 있다.

사람 입장에서는 말도 안 되게 빠른 시간이지만, CPU 캐시에 비하면 느리다. 그래서 대량 데이터를 다룰 때는 데이터가 메모리에 어떻게 배치되어 있는지도 중요해진다.

연속된 데이터를 순서대로 읽는 것은 비교적 유리하다. 반대로 여기저기 흩어진 데이터를 랜덤하게 읽으면 캐시 효율이 떨어질 수 있다.

예시

책 100권을 읽어야 한다고 하자.

  • 책 100권이 한 책장에 순서대로 꽂혀 있다.
  • 책 100권이 도서관 여러 층에 흩어져 있다.

두 경우 모두 읽어야 하는 책은 100권이다. 하지만 이동 비용이 다르기 때문에 전체 시간은 크게 달라진다.

컴퓨터도 마찬가지다. 데이터가 연속적으로 잘 배치되어 있으면 빠르게 읽을 수 있고, 흩어져 있으면 접근 비용이 늘어난다.


6. SSD는 빠르지만 메모리와는 차원이 다르다

SSD random read는 약 150μs 수준으로 자주 언급된다.

이를 ns로 바꾸면 다음과 같다.

150μs = 150,000ns

메인 메모리 접근이 100ns라고 보면:

150,000ns / 100ns = 1,500배

즉, SSD는 HDD보다 훨씬 빠르지만, 메모리와 비교하면 여전히 매우 느리다.

예시

메모리는 사무실 책상 서랍이고, SSD는 같은 건물의 문서 보관실이라고 생각할 수 있다.

문서 보관실이 아무리 잘 정리되어 있어도, 책상 서랍에서 꺼내는 것보다 빠를 수는 없다.

그래서 프로그램은 가능한 한 자주 쓰는 데이터를 메모리에 올려두려 한다.


7. 네트워크는 생각보다 비싸다

같은 데이터센터 안에서의 왕복은 약 0.5ms로 자주 언급된다.

0.5ms = 500μs = 500,000ns

메인 메모리 접근 100ns와 비교하면:

500,000ns / 100ns = 5,000배

즉, 같은 데이터센터 내부 네트워크 호출조차 메모리 접근보다 수천 배 느릴 수 있다.

예시

같은 회사 안에 있는 동료에게 메신저를 보내 답장을 받는다고 생각해보자.

  • 내 책상 위 메모 확인: 메모리 접근
  • 옆자리 동료에게 물어보기: 같은 프로세스 내부 호출
  • 다른 층 동료에게 메신저 보내기: 내부 네트워크 호출
  • 다른 회사 담당자에게 메일 보내기: 외부 네트워크 호출

모두 “답을 얻는 행위”지만, 기다리는 시간은 완전히 다르다.


8. 외부 네트워크는 더 비싸고 불안정하다

장거리 네트워크 왕복은 수십 ms에서 수백 ms 단위가 될 수 있다. 대표 표에서는 미국 캘리포니아와 네덜란드 왕복을 약 150ms로 본다. (Gist)

150ms = 150,000μs = 150,000,000ns

메모리 접근 100ns와 비교하면:

150,000,000ns / 100ns = 1,500,000배

이 정도면 단순히 “조금 느리다”가 아니다. 완전히 다른 차원의 비용이다.

예시

집 안에서 물건을 찾는 것과 해외 배송으로 물건을 받는 것을 비교해보자.

  • 책상 위 물건 찾기: 캐시
  • 방 안 서랍 찾기: 메모리
  • 집 창고 찾기: 디스크
  • 국내 택배 받기: 내부 네트워크
  • 해외 배송 받기: 외부 네트워크

해외 배송은 빠를 때도 있지만, 세관, 항공, 물류 상황에 따라 변수가 많다. 외부 네트워크 호출도 마찬가지다.


9. “한 번 호출”과 “여러 번 호출”은 완전히 다르다

네트워크 호출 하나가 0.5ms라고 해도, 한 번이면 큰 문제가 아닐 수 있다.

하지만 이것이 100번 반복되면 이야기가 달라진다.

0.5ms × 100 = 50ms

여기에 상대 서버 처리 시간, 대기 시간, 직렬 처리 구조까지 더해지면 전체 지연은 훨씬 커질 수 있다.

예시

친구 100명에게 각각 따로 메시지를 보내서 생일 참석 여부를 묻는다고 하자.

방법은 두 가지다.

  1. 한 명씩 따로 메시지를 보내고 답장을 기다린다.
  2. 단체방에 한 번에 공지하고 응답을 모은다.

결과적으로 얻고 싶은 정보는 같다. 하지만 두 방식의 총 시간은 크게 달라진다.

프로그래밍에서도 비슷하다.

  • 하나씩 반복해서 가져오기
  • 필요한 목록을 한 번에 모아서 가져오기

이 차이가 성능에 큰 영향을 준다.


10. N+1 문제가 위험한 이유

N+1 문제는 하나의 큰 목록을 가져온 뒤, 각 항목마다 추가 데이터를 다시 가져오는 구조를 말한다.

1번: 목록 조회
N번: 목록의 각 항목에 대해 추가 조회

항목이 10개면 총 11번 호출이다. 항목이 1,000개면 총 1,001번 호출이다.

문제는 데이터가 늘어날수록 호출 횟수가 같이 늘어난다는 점이다.

예시

여행 참가자 명단을 먼저 받았다고 하자.

그다음 각 참가자의 여권 정보를 확인해야 한다.

나쁜 방식:

참가자 명단을 받는다.
첫 번째 참가자의 여권 정보를 요청한다.
두 번째 참가자의 여권 정보를 요청한다.
세 번째 참가자의 여권 정보를 요청한다.
...
마지막 참가자의 여권 정보를 요청한다.

좋은 방식:

참가자 명단을 받는다.
참가자 번호 목록을 만든다.
그 번호 목록으로 여권 정보를 한 번에 요청한다.
받은 여권 정보를 참가자 명단에 맞춰 붙인다.

핵심은 “반복 요청”을 “일괄 요청”으로 바꾸는 것이다.


11. 캐시는 빠르지만 종류를 구분해야 한다

캐시는 자주 쓰는 데이터를 더 빠른 위치에 보관하는 전략이다.

하지만 모든 캐시가 같은 속도를 갖는 것은 아니다.

캐시 종류 감각
CPU 캐시 가장 빠름
프로세스 내부 메모리 캐시 매우 빠름
같은 서버의 파일 캐시 비교적 빠름
네트워크 캐시 네트워크 비용 포함
외부 캐시 서비스 네트워크 + 서비스 처리 비용 포함

캐시라는 이름이 붙었다고 해서 전부 메모리처럼 빠른 것은 아니다.

예시

자주 보는 문서를 어디에 두느냐에 따라 속도가 달라진다.

  • 책상 위에 둔다.
  • 책상 서랍에 둔다.
  • 사무실 캐비닛에 둔다.
  • 다른 층 문서실에 둔다.
  • 다른 지점 문서실에 둔다.

모두 “보관해둔 문서를 다시 꺼낸다”는 점에서는 캐시처럼 보인다. 하지만 실제 접근 시간은 위치에 따라 크게 다르다.


12. 압축은 CPU 비용과 전송 비용의 교환이다

표에서 1KB를 Snappy(경량 압축 알고리즘)로 압축하는 시간은 약 3μs로 나온다. (Gist)

압축은 CPU 시간을 사용한다. 대신 데이터 크기를 줄여서 저장 비용이나 전송 비용을 줄일 수 있다.

즉, 압축은 단순히 “좋다”, “나쁘다”로 판단할 수 없다.

예시

이삿짐을 보낼 때를 생각해보자.

짐을 박스에 대충 넣으면 포장 시간은 적게 든다. 하지만 부피가 커져서 배송비가 늘 수 있다.

반대로 진공 압축하고 꼼꼼하게 포장하면 포장 시간은 늘어난다. 하지만 부피가 줄어 배송비가 줄 수 있다.

압축도 비슷하다.

  • 압축 시간: 포장하는 시간
  • 전송 시간 절약: 배송비와 배송 시간 절약
  • 압축 해제 시간: 도착 후 다시 풀어내는 시간

13. 디스크는 순차 접근과 랜덤 접근이 다르다

디스크나 SSD는 데이터를 어떻게 읽느냐에 따라 성능이 달라진다.

  • 순차 읽기: 연속된 데이터를 한 번에 읽음
  • 랜덤 읽기: 여기저기 흩어진 데이터를 찾아 읽음

순차 읽기는 상대적으로 효율적이다. 랜덤 읽기는 탐색 비용이 커진다.

예시

책 한 권을 1쪽부터 100쪽까지 순서대로 읽는 것은 쉽다.

하지만 다음과 같이 읽는다면 훨씬 번거롭다.

3쪽 읽기
87쪽 읽기
12쪽 읽기
64쪽 읽기
5쪽 읽기

읽는 페이지 수가 같더라도, 이동과 탐색 비용이 늘어난다.

스토리지 접근도 마찬가지다.


14. 현대 하드웨어에서는 숫자가 바뀔 수 있다

원본 Latency Numbers는 오래전 하드웨어 기준 숫자를 포함한다. 현대 SSD, 네트워크, 클라우드 인프라는 더 빨라진 부분이 많다.

하지만 중요한 사실은 여전히 변하지 않는다.

CPU, 메모리, 디스크, 네트워크는 서로 다른 자릿수의 비용을 가진다.

최근에는 napkin-math 같은 프로젝트도 시스템 성능을 대략 계산하는 숫자와 기법을 정리하고 있다. 이 프로젝트 역시 정확한 벤치마크보다는 시스템 성능을 빠르게 추정하기 위한 기준값을 제공하는 목적에 가깝다. (GitHub)

예시

자동차 성능이 좋아졌다고 해도 다음 차이는 여전히 존재한다.

  • 집 안에서 이동하기
  • 동네 안에서 이동하기
  • 도시 간 이동하기
  • 국가 간 이동하기

교통수단이 발전해도 거리의 차이는 사라지지 않는다. 컴퓨터 시스템도 마찬가지다.


15. 개발자가 가져야 할 판단 기준

Latency Numbers를 외우는 목적은 숫자 암기가 아니다. 성능 병목을 만났을 때 다음 질문을 빠르게 던지기 위해서다.

15.1 이 작업은 CPU 문제인가?

계산 자체가 많은 문제인지 확인한다.

예시:

복잡한 수학 계산을 수백만 번 반복한다.
이미 메모리에 있는 데이터를 계속 변환한다.
압축, 암호화, 인코딩 같은 CPU 작업이 많다.

이런 경우에는 알고리즘, 자료구조, 병렬 처리, 계산량 감소가 중요할 수 있다.


15.2 이 작업은 메모리 접근 문제인가?

데이터가 너무 크거나, 접근 패턴이 비효율적인지 확인한다.

예시:

큰 책장이 있는데 필요한 책들이 여기저기 흩어져 있다.
책을 읽는 시간보다 책을 찾으러 이동하는 시간이 더 많다.

이런 경우에는 데이터 배치, 캐시 효율, 순차 접근, 불필요한 복사 제거가 중요할 수 있다.


15.3 이 작업은 디스크 문제인가?

저장소에서 데이터를 자주 읽거나 쓰는지 확인한다.

예시:

필요할 때마다 창고에 가서 물건을 하나씩 꺼낸다.
한 번에 가져올 수 있는 물건도 매번 따로 가져온다.

이런 경우에는 배치 처리, 순차 읽기, 캐싱, 인덱싱, 저장 구조 개선이 중요할 수 있다.


15.4 이 작업은 네트워크 문제인가?

다른 서버나 외부 시스템과 너무 자주 통신하는지 확인한다.

예시:

질문 하나를 할 때마다 다른 사람에게 전화를 건다.
질문 100개를 한 번에 정리하지 않고 100번 따로 전화한다.

이런 경우에는 호출 횟수 줄이기, 일괄 요청, 캐시, 비동기 처리, 타임아웃 설정이 중요하다.


16. 실용적인 성능 감각

다음 문장들을 기억하면 좋다.

메모리는 빠르다. 디스크는 메모리보다 훨씬 느리다. 네트워크는 디스크만큼 또는 그 이상으로 조심해야 한다. 외부 네트워크는 언제든 느려질 수 있다. 반복 호출은 작은 지연을 큰 지연으로 만든다.

성능 문제는 종종 코드 한 줄의 문제가 아니다. 어떤 세계를 오가는지가 더 중요하다.

CPU 내부에서 끝나는가?
메모리까지 가는가?
디스크까지 가는가?
같은 네트워크 안에서 왕복하는가?
외부 네트워크까지 나가는가?

이 질문만 해도 많은 성능 문제를 더 빨리 파악할 수 있다.


17. 한눈에 보는 비유

컴퓨터 작업 현실 비유
L1 캐시 접근 손에 들고 있는 메모 보기
L2 캐시 접근 책상 위 문서 보기
메모리 접근 서랍에서 문서 꺼내기
SSD 읽기 사무실 문서함에서 문서 찾기
HDD 탐색 창고에서 박스 찾기
같은 데이터센터 네트워크 같은 건물 다른 층에 연락하기
외부 네트워크 다른 도시나 해외 지점에 연락하기

이 비유의 핵심은 단순하다.

가까울수록 빠르고, 멀수록 느리다. 한 번이면 괜찮아도, 반복하면 문제가 된다.


18. 최종 정리

Latency Numbers Every Programmer Should Know는 개발자가 시스템 성능을 볼 때 가져야 할 기본 감각이다.

핵심은 다음과 같다.

  1. CPU 캐시는 극단적으로 빠르다.
  2. 메모리는 빠르지만 CPU 캐시보다는 느리다.
  3. SSD는 빠르지만 메모리와는 차원이 다르다.
  4. 네트워크 호출은 코드상으로는 간단해 보여도 매우 비싸다.
  5. 외부 네트워크는 느릴 뿐 아니라 불안정하다.
  6. 반복 호출은 작은 지연을 큰 병목으로 만든다.
  7. 성능 개선의 핵심은 “더 빠른 코드”보다 “비싼 작업을 덜 하는 구조”일 때가 많다.

결국 이 표가 말하는 가장 중요한 문장은 이것이다.

빠른 세계와 느린 세계를 구분하라. 그리고 느린 세계로 가는 횟수를 줄여라.


참고 자료

  • Latency Numbers Every Programmer Should Know, Jeff Dean / Peter Norvig 계열 정리 (Gist)
  • Napkin Math: 시스템 성능 추정을 위한 숫자와 기법 모음 (GitHub)