Современные технологии позволяют разместить КЭШ-память и ЦП на общем кристалле. Такая внутренняя КЭШ-память строится по технологии статического ОЗУ и является наиболее быстродействующей.
Емкость ее обычно не превышает 64 Кбайт. Попытки увеличения емкости обычно приводят к снижению быстродействия, главным образом, из-за усложнения схем управления и дешифрации адреса.
Общую емкость КЭШ-памяти ЭВМ увеличивают за счет второй (внешней) КЭШ-памяти, расположенной между внутренней КЭШ- памятью и ОЗУ. Такая система известна под названием двухуровневой, где внутренней КЭШ-памяти отводится роль первого уровня (L1), а внешней — второго уровня (L2). Емкость L2 может быть значительной (до 1 МБ).
При доступе к памяти ЦП сначала обращается к КЭШ-памяти первого уровня. В случае промаха производится обращение к КЭШ-памяти второго уровня. Если информация отсутствует и в L2, выполняется обращение к ОЗУ и соответствующий блок заносится сначала в L2, а затем и в L1. Благодаря такой процедуре часто запрашиваемая информация может быть быстро восстановлена из КЭШ-памяти второго уровня. Для ускорения обмена информацией между ЦП и L2 между ними часто вводят специальную шину, так называемую шину заднего плана, в отличие от шины переднего плана, связывающую ЦП с основной памятью.
Количество уровней КЭШ-памяти не ограничивается двумя. В некоторых ЭВМ можно встретить КЭШ-память третьего уровня (L3). Ведутся активные дискуссии о введении также и КЭШ-памяти четвертого уровня (L4). Характер взаимодействия очередного уровня с предшествующим аналогичен описанному для L1 и L2. Таким образом, можно говорить об иерархии КЭШ-памяти. Каждый последующий уровень характеризуется большей емкостью, меньшей стоимостью, но и меньшим быстродействием, хотя оно все же выше, чем у ЗУ основной памяти.