Die massiven Blöcke des Fundaments des mittelalterlichen Turms, der an die ehemaligen Gefängnisse angrenzt, stammen aus der Römerzeit. Diese Steine wurden um das Jahr 1000 von der benachbarten Burg Colombier, ursprünglich eine gallo-römische Villa, entnommen.
Der mittelalterliche Turm wachte jahrhundertelang über die damalige Hauptstraße.
Das angrenzende große Gebäude diente im Mittelalter als Haftort. Er erwies sich nicht immer als besonders zuverlässig, wie einige Fluchtberichte belegen. Erhalten ist unter anderem das des 1415 inhaftierten Kanonikers Benedetto da Piglio, dem nach acht Monaten Gefangenschaft die Flucht aus dem Turm gelang. Einige Jahrzehnte später gelang es auch einer angeblichen Hexe, über die Dächer zum Diesse-Turm am anderen Ende der Stadt zu fliehen.
Der Ort etablierte sich mit dem Bau „moderner“ Zellen im Jahr 1828 als echtes Gefängnis.
Die Gefängnisse in Neuchâtel wurden 1996 stillgelegt und blieben unbewohnt.
Bei der Neugestaltung wurde darauf geachtet, dass die ursprüngliche Architektur erhalten bleibt. Heute beherbergt es einen großen Ausstellungsbereich, einen Konferenzraum, ein Café mit Terrasse, den Museumsshop sowie das Atelier von John Howe.