Adeiladwyd y maenordy gwreiddiol ar y safle hwn yn nechrau'r bymthegfed ganrif. Rhoddwyd trwydded frenhinol i Syr Gwilym Gruffydd yn 1438 yn rhoi caniatad iddo roi crenelau ar y t? ac ymestyn yr adeilad drwy ychwanegu twr caerog ato. Roedd hwn yn adeilad sylweddol a ddisgrifiwyd mewn cerdd o'r bymthegfed ganrif gan Rhys Goch Eryri. Fe'i cofnodwyd hefyd mewn darluniau a wnaed gan y pensaer Samuel Wyatt cyn iddo gael ei addasu'n sylweddol iawn gyda'i gynlluniau ef ar gyfer plasty Gothig i deulu'r Penrhyn yn 1782. Mae'n ymddangos fod y cynllun hwn wedi cadw cromgell yr islawr, y twr gyda'i risiau troellog a'r neuadd fawr o'r cynllun canoloesol, yn ogystal ag adlewyrchu arddull ganoloesol yr adeilad gwreiddiol.

Cafodd yr adeilad presennol ei greu gan y pensaer Thomas Hopper rhwng 1822 a 1837 i George Hay-Dawkins Pennant, a oedd wedi etifeddu ystad y Penrhyn ar ol ei gefnder, Richard Pennant. Roedd Pennant ei hun wedi priodi i deulu'r Penrhyn ac wedi gwneud ei ffortiwn wedi hynny drwy'r diwydiant llechi yng Ngogledd Cymru a chaethwasiaeth yn Jamaica.

Yn wahanol i benseiri eraill cestyll ffug y cyfnod Rhamantaidd a Fictoraidd cynnar, penderfynodd Hopper beidio a defnyddio'r arddull Gothig ffasiynol ond, yn hytrach, fynd am arddull neo-Normanaidd. Aeth ei weledigaeth o arddull Normanaidd tu hwnt i bensaerniaeth bur, gan ymestyn i'r gwaith plaster caboledig ac addurniedig a ddefnyddiwyd yn y llyfrgell, y neuadd fawr a'r grisiau. Roedd y dodrefn hefyd yn adlewyrchu'r arddull hon. Gwaetha'r modd, dim ond am dair blynedd arall y bu George Hay-Dawkins Pennant fyw ar ol i'r gwaith adeiladu o bymtheg mlynedd yn y castell ddod i ben.

Yn 1859, arhosodd y Frenhines Fictoria a'r Tywysog Albert yn y castell yn ystod un o'u hymweliadau prin a Chymru. Fodd bynnag, gwrthododd y frenhines gysgu yn y gwely llechen mawr yr oedd teulu'r Penrhyn wedi ei gomisiynu'n arbennig ar gyfer yr achlysur, gan ei fod yn ei hatgoffa o fedd. Tua'r amser yma hefyd y dechreuodd yr ystad agor ei gatiau yn rheolaidd i grwpiau o dwristiaid, a dalai am gael eu harwain drwy'r ystafelloedd ysblennydd a'r gerddi helaeth gan yr howsgiper.

Aelod olaf teulu'r Penrhyn i fyw yn y castell oedd Hugh Napier Douglas-Pennant, a fu farw yn 1949. Aeth y castell a'r gerddi'n eiddo i'r Trysorlys yn 1951 a heddiw maent dan ofal yr Ymddiriedolaeth Genedlaethol. Yn ogystal a'r gosodiadau mewnol a dodrefn sydd wedi eu diogelu yno, mae'n gartref hefyd i un o gasgliadau celf gorau Cymru.