Edsbergs gård byggdes omkring 1630. Familjen Rudbecks tog över 1757 och byggde upp det nuvarande stenhuset. 

Flera kungligheter har varit på besök, så som drottning Kristina 1645 och kung Karl XI och änkedrottningen Hedvig Eleonora 1670.

Godset var kvar i familjen Rudbecks ägo till 1959 då familjen flyttade och kommunen tog över fastigheten.