Mae yna hen gastell wedi ei adeiladu gan Gilbert de Clare ar lan yr Afon Ystwyth (o'r enw Castell Tan-y-Castell), ond caiff y castell cerrig yma ei adeiladu gan Llewelyn ab Iorweth ar man newydd, yn ystod y 13fed canrif. Y twr yma sydd oll o'r ty porthor gorllewinol sydd ar ol.