Codwyd y tolldy hwn ar gyrion deheuol Aberystwyth ym 1771 pan oedd boneddigion lleol yn dechrau adeiladu ffyrdd preifat neu ffyrdd tyrpeg a chodi tollau am eu defnyddio.

Codwyd yr adeilad a'i gatiau am £40, bron bedair gwaith cost codi bwthyn clom to gwellt fel Nant Wallter [rhif 34]. Fe'i codwyd o lechfaen lleol a'i doi â llechi o Sir Benfro.

David Jones o Ddihewyd oedd ceidwad cyntaf y tollborth. Cafodd ei benodi ym mis Tachwedd 1771 a dechreuwyd codi tollau ar 23 Mawrth 1772.

Un ystafell sydd yn yr adeilad ac roedd un pen yn cael ei ddefnyddio i gasglu tollau. Roedd lle tân ym mhen arall yr ystafell yn ei gwresogi ac yn cael ei ddefnyddio i goginio.

Dodrefnwyd y tŷ yn null 1843, sef cyfnod Terfysgoedd Beca pan ddinistriwyd llawer o dollbyrth. Roedd pobl mewn ardaloedd gwledig yn gwarafun gorfod talu i deithio ar hyd y ffyrdd a chafwyd terfysgoedd yn erbyn y tollbyrth. O ganlyniad i hynny, diddymwyd y rhan fwyaf o'r cwmnïau tyrpeg ym 1864 a daeth y cynghorau sir yn gyfrifol am adeiladu a chynnal y ffyrdd.

Symudwyd yr adeilad i'r Amgueddfa ym 1962.