Las paredes que rodean Tarifa son en esencia, el resultado de muchas fases de construcción y restauración.

Principalmente se pueden considerar dos disposiciones: la primera corresponde al período de ocupación islámica, que incluye la milenaria "medina", en la que se encerró la zona sur de la ciudad. Sus restos, aún se pueden ver en los acantilados del Estrecho. La puerta de Almedina es el único resto de este período.

Después de la conquista cristiana, la medina se expandió hasta las actuales paredes, que fueron construidas entre los siglos XV y XVI. De este segundo sistema de defensa sólo queda la Puerta de Jerez, en la parte norte de la ciudad.