Pan oedd y castell yn gwasanaethu fel carchar, defnyddiwyd nifer o ddulliau ac offer i sicrhau disgyblaeth ac ufudd-dod y carcharorion. Roedd pâr o heyrn ar gyfer y coesau yn cyfyngu ar symudiad y carcharorion. Mae'n bosibl bod y clo a'r allwedd a ddangosir yma wedi'u cynhyrchu'n lleol. Mae'r castell fel man carcharu yn dyddio'n ôl i'w sefydliad ym 1188. Mae Gerallt Gymro yn ysgrifennu ynglŷn â charcharor a ddaliodd dri bachgen yn wystlon yn ei gell. Yn ddiweddarach, cyfnododd arolwg ym 1577 bod dau garchar yn y castell, un o dan dŵr Brehinock a'r llall wrth y brif fynedfa, er erbyn hynny yr oedd wedi dadfeilio'n llwyr. Ym 1774, ymwelodd John Howard, y diwygiwr carchardai, â Hwlffordd. Fe gondemniodd Garchar y Sir yn Nhŷ Cook. Rhwng 1779 ac 1780 adeiladwyd carchar newydd yn y castell yn erbyn wal ddeheuol y ward fewnol a gostiodd 1200. Carcharwyd milwyr Ffrengig yno wedi'r ymosodiad diwethaf ar Brydain yn Abergwaun ym 1797. Yn dilyn argymhellion oddi wrth y Llysoedd Chwarter, adeiladwyd carchar newydd ym 1820.