Stare Zadybie wymieniane jest w źródłach historycznych w 1895 roku.
Dwór znajdujący się w Starym Zadybiu datuje się na II połowę XIX wieku.
Majątek ziemski w Starym Zadybiu w 1930 roku należał do Jana Piaskowskiego. Do wybuchu II wojny światowej w skład majątku wchodził m.in. dwór, stajnia, stodoła, gorzelnia i park. Po wojnie majątek uległ parcelacji. Resztówka została przejęta przez Spółdzielnię Produkcyjną. Niedługo potem ziemie wraz z zabudowaniami folwarcznymi przejęło Państwowe Gospodarstwo Rolne w Żelechowie.
W czasie II wojny światowej w dworze (od sierpnia 1944 do stycznia 1945) staconowali piloci I pułku lotniczego Lotnictwa Myśliwskiego "Warszawa". Szkoła, która w późniejszych latach miała swoją siedzibą we dworze nazwana była ich imieniem. Była to Szkoła Podstawowa im. I Pułku Lotnictwa Myśliwskiego "Warszawa" z oddziałami przedszkolnymi. Po wojnie dwór był siedzibą poczty oraz mieszczali w nim pracownicy PGR-u.
W 1960 roku budynek przeszedł gruntowny remont.
Obecnie dwór jest własnością gminy Kłoczew i został wystawiony na sprzedaż.