Situadas en el promontorio del Cap de Tossa, las murallas de la Vila Vella, declaradas monumento histórico-artístico nacional, son hoy en día el único ejemplo de población medieval fortificada existente en la costa catalana.

Se conserva la casi totalidad del perímetro original, con muros de mampostería almenados, cuatro torreones y tres torres cilíndricas rematadas en lo alto por matacanes. Guarda todavía buena parte del paseo de ronda, aspilleras para su defensa y el entarimado interior de la torre de "les Hores", con pisos y escaleras de madera. Se accede al recinto a través de un portal de medio punto sobre el cual, antaño, había tres escudos de armas. En su momento de máximo esplendor llegó a albergar la iglesia de estilo ojival (s.XV), hoy en ruinas, y unas ochenta casas, muchas de las cuales están todavía habitadas.

El Museo Municipal ocupa la que fue la casa del batlle de sac o gobernador, el edificio más noble del recinto.

Su historia empieza el año 1186, cuando un abad de Ripoll, Ramón de Berga, de cuyo monasterio Tossa era alodio, concedió a los habitantes de la pequeña comunidad establecida en las montañas, carta de población para establecerse en el promontorio que en aquella época se denominaba "Mont Guardí". Por lo tanto, la construcción original de las murallas se remonta a finales del s.XII o a comienzos del XIII.

En el año 1387 se llevó a cabo una reconstrucción que le dio el aspecto definitivo que ha llegado a nuestros días.

Las murallas defendieron la villa en múltiples ocasiones, sobre todo en tiempos de las persistentes y graves incursiones piratas del s.XVI.

A partir de la segunda mitad del s.XIX el recinto amurallado empezó a desmoronarse, pero los sucesivos trabajos de restauración realizados en 1923, 1966, 1989 y 1990 han permitido su recuperación y consolidación.