Adeiladwyd y Tŷ Crwn ym 1834. Defnyddiwyd yr adeilad fel carchar bychan ar gyfer mân droseddwyr yn bennaf, ac hefyd byddai meddwon yn cael eu cadw yno i sobri. Roedd yr adeilad yn cynnwys dwy gell, un ar gyfer dynion a'r llall ar gyfer merched. Weithiau byddai troseddwyr yn cael eu cadw yno cyn cael eu trosglwyddo i'r llysoedd lleol neu'r carchar sirol yn Nolgellau. Defnyddiwyd yr adeilad am y tro olaf ym 1861.