Więzienie mieściło się w murach dawnego klasztoru z XIII wieku. Budynek był wielokrotnie przebudowywany, zaś w XVII wieku spłonął. Jako zakład karny funkcjonuje od końca XVIII wieku. Było to jedne z najcięższych więzień na terenie Polski. Zakład został przewidziany na niecałe 500 więźniów, jednak w okresie międzywojennym karę odsiadywało tu ponad 1200 osób, często po kilkadziesiąt skazańców w jednej celi. Osadzeni byli tu więźniowie polityczni m.in.: Władysław Frasyniuk oraz Władysław Gomułka. Ponadto za długi karciane siedział także mąż Konopnickiej. Jako ciekawostkę warto dodać, iż nie odnotowano nigdy udanej ucieczki. Obecnie więzienie stoi opustoszałe, jedynie sporadycznie pełni funkcję planu filmowego, kręcono tu sceny do m.in. Vabank, Papuszy. Obiekt wpisany został na listę zabytków.