Duivenvoorde ontleent zijn naam waarschijnlijk aan de rivieren de Duve (of Dobbe) en de Voor, waartussen het kasteel is ontstaan. In 1226 wordt 'Duvenvoirt' voor het eerst genoemd in een akte, waarin de erfenis van goederen werd geregeld.

Omstreeks 1250 stond op de plaats van het huidige kasteel een donjon - een vierkante verdedigingstoren. Later werd woonruimte belangrijker dan veiligheid. Men bouwde steeds meer bij aan de toren. Bij een ingrijpende verbouwing in opdracht van Johan van Wassenaer in 1631 kreeg het kasteel zijn huidige uiterlijk en grondplan. Duivenvoorde werd van een robuuste verdedigingstoren voorgoed een behaaglijk landhuis.

Duivenvoorde is nooit verkocht maar altijd door vererving van eigenaar gewisseld. En dat is uniek. Pas in 1960 is het erfgoed in een stichting ondergebracht door Jonkvrouwe Ludolphine Henriette barones Schimmelpenninck van der Oije. Na grondige restauratie werd het kasteel opengesteld voor het publiek.