Oprindelig Høffdings Hus (1610). Høvdingsgård har tidligere hørt til Vordingborg rytterdistrikt indtil 1774. Den første ejer var Hans Gustav Lillienskjold, som også ejede Lilliendal. I 1799 blev Høvdingsgård solgt fra Lilliendal til Lars Terpager Hagen. Prisen var 78.000 rigsdaler. Hovedgårdstaksten 53-60 hartkorn, samt bøndergods 246 td. hartkorn. (Terpagers gravsted findes på Mern kirkegård). Høvdingsgård forbliver i familiens eje indtil 1901. Svigersønnen, Bilsted, opførte i 1852 en ny hovedbygning. Den var grundmuret, havde to etager samt kælder.
I 1901 købte plantageejer A.F.J.C. Lassen godset og byggede tårn og kvistparti til. Sønnen, Emil Lassen, overtog den i 1917. Hans Lystrup, tidligere cykelhandler, men senere storgrosserer i København, overtog godset i 1938, og Høvdingsgård ejes i dag af dennes barnebarn. Høvdingsgårds ejere ejede de fleste huse i Sdr. Mern, som de solgte fra i de sidste årtier af 1900-tallet. Godsejerne var kirkeejere af Mern kirke indtil 1921.