Charles Hanbury-Williams oedd mab ieuengaf yr Uwchgapten John Hanbury o Bont-y-pŵl. Derbyniodd ei addysg yn Eton lle bu'n ddisgybl yn ystod yr un cyfnod â Fox a Pitt. Ar ôl iddo ddychwelyd o'i deithiau trwy Ewrop, ymsefydlodd ar ystad yr oedd wedi ei hetifeddu yn Lloegr. Ar ddechrau ei yrfa, canolbwyntiodd ar wleidyddiaeth, y gymdeithas a llenyddiaeth - yn wir cafodd ei farddoniaeth dderbyniad da iawn o fewn y cylch cymdeithasol a oedd yn cynnwys Horace Walpole. Dechreuodd ar ei yrfa ddiplomyddol pan oedd yn ei dridegau hwyr.

Ym 1750 cafodd ei anfon i'r llys Prwsiaidd yn Berlin ar adeg pan oedd y berthynas rhwng Prydain a Phrwsia yn bur wael. Ei swyddogaeth oedd ceisio darganfod pa mor debygol yr oedd y Brenin o fynd i ryfel yn erbyn ei gymdogion, ac i edrych ar gyflwr ei fyddin. Cafodd dderbyniad digon llugoer yn Berlin, ac ychwanegwyd at ei broblemau gan ei duedd i ymddwyn yn drahaus; yn wir, dirywiodd pethau i'r fath raddau fel y cafodd ei anwybyddu gan Frenin Prwsia a'i lys. Daeth ei gyfnod yn Berlin i ben yn ddisymwth pan gafodd ei alw adref yn gynnar i Brydain. Bu bron i'w yrfa ddiplomyddol ddod i ben yn y fan a'r lle, ond bu'n ddigon ffodus i gael ail gyfle diolch i ddylanwad ei ffrindiau yn y llywodraeth.