Fra ca. år 1200 havde Roskildebispen en befæstet brydegård, Braade, som helt frem til 1522 hørte til embedet.
I 1562 overgik ejendommen fra Kronen til slægten Trolle og fik navnet Trolholm. Den mægtige, indgravede borg- og ladegård fra 1598-1651 er denne slægts værk. Helt specielt er det oprindelige vindebro-forsvar – flankeret af to hovedløse trolde på broen – over den nordlige voldgrav. Siden 1700/1707 har Holsteinborg Gods været i slægten Holsteins besiddelse.
Stedet har i århundredernes løb været centralt placeret i rigets styrelse, f.eks. når besiddere var rigsråd, storkansler eller konseilspræsident.
