Yn wreiddiol bwthyn bychan yn Llantysilioo'r enw Braich y Gwynt, ym 1865 prynwyd Bryntysilio gan Syr Theodore a'r Foneddiges Martin ac y tŷ yn llawer mwy. Cafodd y tŷ ei feddiannu gan y fyddin yn ystod yr Ail Ryfel Byd yna adnewyddwyd y tŷ, ond cafodd ei leihau mewn maint gan Mr Sydney Aston cyn yn ddiweddarach cael ei werthu i Awdurdod Addysg Walsall fel canolfan addysg awyr agored.