Adeiladwyd Fort Tregantle yn gaer amddiffynnol yn erbyn ymosodiad posibl gan luoedd Ffrainc yn y 1850au. Yn gyffredinol, roedd teimlad o ansicrwydd a achoswyd gan y cynnydd yn y llynges Ffrengig, ac fe gomisiynnodd Arglwydd Palmerston, y prif weinidog ar y pryd, adeiladu tua 30 o amddiffynfeydd, gwrthgloddiau a magnelfeydd o amgylch Plymouth, a ystyrid yn brif darged i'r Ffrancod.

Dechreuwyd yr adeiladu ym 1858 a chymerodd tua chwe blynedd. Erbyn iddynt gael eu cwblhau cawsant eu disodli gan y sefyllfa wleidyddol a'r cynnydd mewn technoleg. Daeth yr adeiladweithiau yn adnabyddus fel 'Palmerston's Follies'. Fodd bynnag, daeth rhai ohonynt yn feysydd ymarfer pwysig ar gyfer y fyddin. Aeth Catrawd Sir Fynwy i Gaer Tregantle yn flynyddol i wneud ymarferion nad oedd yn addas i'w gwneud ar eu maes ymarfer eu hunain.