[컴퓨터 구조] 메모리 - 캐시 메모리

CPU는 연산 속도가 매우 빠르고, 메모리(RAM)는 상대적으로 느립니다.
따라서 CPU가 매번 메모리에 직접 접근하면 속도 차이 때문에 병목 현상이 생기죠.

 

이 속도 차이를 줄이기 위해 사용되는 것이 바로 캐시 메모리(Cache Memory) 입니다.

 

1. 캐시 메모리란

CPU와 메모리 사이에서 ‘중간 저장소’ 역할을 하는 초고속 메모리입니다.
일반적으로 SRAM 기반으로 만들어져 DRAM보다 훨씬 빠릅니다.

 

 왜 필요한가?

• CPU가 자주 사용하는 데이터를 미리 저장해 두었다가 빠르게 전달하기 위해
• 메모리 접근하는 시간을 줄여 전체 성능을 크게 향상시키기 위해

 

2. 캐시 메모리를 사용할 때 vs 사용하지 않을 때

경우	동작 방식	속도
캐시 O	CPU → 캐시에 바로 데이터 탐색	빠름
캐시 x	CPU →  메모리까지 직접 접근	느림

캐시 안에 데이터가 있다면 CPU는 메모리까지 갈 필요가 없기 때문에 훨씬 빠르게 연산을 진행할 수 있습니다.

 

 

3. 캐시 메모리의 계층 구조 (L1, L2, L3)

CPU 내부와 가까운 순서대로…

 

1️⃣ L1 캐시

• 가장 빠름
• 가장 작음
• 명령어 캐시(L1I), **데이터 캐시(L1D)**로 나뉜 분리형 구조(split cache) 사용

2️⃣ L2 캐시

• L1보다 크고 느림
• 대부분 CPU 코어 내부에 존재

3️⃣ L3 캐시

• 가장 크고 가장 느림
• 여러 코어가 공유(shared)

➡ 캐시의 크기는 L1 < L2 < L3
➡ 캐시의 속도는 L1 > L2 > L3

CPU는 데이터를 찾을 때 다음 순서로 탐색합니다:

L1 → L2 → L3 → 메모리(RAM)

 

 

4. 캐시 히트(Cache Hit) & 캐시 미스(Cache Miss)

1️⃣  캐시 히트

CPU가 찾는 데이터가 캐시 안에 있는 경우
→ 가장 빠른 속도로 연산 가능!

 

2️⃣  캐시 미스

캐시에 데이터가 없어 메모리까지 가서 가져와야 하는 경우
→ 속도 저하 발생

 

CPU 성능을 높이려면 캐시 히트 비율을 높이는 것이 핵심!

 

5. 캐시 적중률( Cache Hit Ratio )

캐시가 얼마나 효율적으로 동작하는지를 나타내는 비율입니다.

캐시 히트 횟수 / (캐시 히트 횟수 + 캐시 미스 횟수)

일반적인 컴퓨터의 캐시 적중률은 85~95% 이상입니다.

 

6. 캐시 메모리가 잘 동작하는 이유: 참조 지역성

CPU의 메모리 접근 패턴은 규칙적입니다. 이를 "참조 지역성의 원리(Locality)"라고 합니다.

 

1️⃣  시간 지역성(Time Locality)

• 최근 사용한 데이터를 다시 사용할 가능성이 높음
  예: 변수 값 반복 참조

2️⃣  공간 지역성(Spatial Locality)

• 현재 접근한 주소 근처 데이터를 사용할 가능성이 높음
  예: 배열 연속 접근

캐시는 이 원리를 활용하여, 근처 데이터까지 미리 가져와 저장함으로써 높은 캐시 히트율을 유지합니다.

 

 

정리하면

 

캐시 메모리는 CPU 성능 향상의 핵심 요소입니다.

• 메모리 접근 시간을 획기적으로 단축하고
• CPU가 쉬지 않고 일할 수 있게 만들어 주며
• 대부분의 현대 CPU 성능 향상은 캐시 구조 최적화에 기반합니다.

CPU를 제대로 이해하려면 캐시 메모리를 반드시 이해해야 합니다!