Les blocs massifs des fondations de la tour médiévale qui jouxte les anciennes prisons datent de l’époque romaine. Ces pierres furent prélevées vers l’an mille sur le château voisin de Colombier, initialement villa gallo-romaine.
La tour médiévale a veillé pendant des siècles sur ce qui constituait alors la route principale.
Le vaste bâtiment adjacent servit de lieu de détention durant le Moyen Âge. Il ne s’avéra pas toujours d’une fiabilité exemplaire, comme en attestent certains récits d’évasions. On conserve notamment celui du chanoine Benedetto da Piglio, incarcéré en 1415, qui parvint à s’évader de la tour après huit mois de captivité. Quelques décennies plus tard, une supposée sorcière parvint également à s’échapper par les toits pour rejoindre la tour de Diesse, située à l’autre bout de la cité.
L’endroit s’affirma comme une véritable prison avec la construction de cellules « modernes » en 1828.
Les prisons de Neuchâtel ont été désaffectées en 1996 et sont restées inoccupées.
Le projet de réaménagement a été conçu dans le respect de l’architecture d’origine. Il abrite désormais un grand espace d’exposition, une salle de conférence, un café avec terrasse, la boutique du musée, ainsi que l’atelier de John Howe.