Al vanaf de Middeleeuwen bewoonde de invloedrijke familie Van Wassenaer het kasteel.

De oudst bekende eigenaar - vermeld in de akte over Duivenvoorde van 1226 - is Philips van Wassenaer. Het was een geslacht van ridders en hoogheemraadsheren.

Zij bekleedden belangrijke functies aan het hof en trokken in de zomermaanden naar het 'buiten' Duivenvoorde.

Arent (VII) was een van de meest tot de verbeelding sprekende eigenaren van Duivenvoorde. Hij had in 1566 het Smeekschrift der Edelen mede ondertekend en werd naar het buitenland verbannen. Daar sloot hij zich aan bij de Watergeuzen aan en kreeg als bijnaam 'De Watergeus'.

Johan van Wassenaer ende Duvenvoirde, zoon van de 'Watergeus', laat de grote verbouwing van 1631 uitvoeren. Hij maakt van zijn voorouderlijk, nog geheel middeleeuws, slot een gerieflijke woning. Johan van Wassenaer heeft zitting in de Staten van Holland en bekleedt daarnaast andere belangrijke functies.



klik op de afbeelding voor een vergroting

Johan's zoon Arent (VIII) voert als eerste de titel van baron en diens zoon Jacob wordt gezant aan het Engelse hof. Arent (IX), zoon van Jacob, maakt in 1688 de tocht van Stadhouder Willem III naar Engeland mee en wordt later net als zijn vader gezant aan het Engelse hof.
Arent van Wassenaer sterft in 1721. Daarna vererft het kasteel in vrouwelijke lijn. Wij vinden achtereenvolgens de familienamen Torck, Van Neukirchen genaamd Nyvenheim, Steengracht en Schimmelpenninck van der Oije.

In 1957 wordt Jonkvrouwe Ludolphine Henriette barones Schimmelpenninck van der Oije de laatste eigenaresse. Zij moet beslissen over het voortbestaan van Duivenvoorde en besluit het kasteel te laten restaureren en het kasteel (met inboedel) en landgoed onder te brengen in een stichting.
De eerste rondleiding vond plaats in 1963 en sinds 1965 is Duivenvoorde officieel een museum.