In seguito a rovesci finanziari e politici della famiglia Rucellai, nel 1573, la proprietà fu acquistata da Bianca Cappello che riportò gli Orti agli antichi splendori. Nel 1640, per complesse vicende ereditarie tornarono ad essere di proprietà dei Medici. La prima grande trasformazione del giardino risale alla metà del XVII secolo e risente dell'influenza del Buontalenti sia per l'uso dell'acqua sia per la presenza di statue gigantesche.

Come a Pratolino la scena, sia pure in dimensioni ridotte è di tipo arcadico, ispirata alla mitologia classica. All'impianto all'italiana si aggiungeva la ricerca dell'effetto scenografico che culminava nella gigantesca figura di "Polifemo che beve all'otre", opera di Antonio Novelli. La grotta degli Orti, opera anche questa del Novelli, ha l'aspetto di una caverna decorata con spugne e statue in atteggiamento dinamico raffiguranti i venti.

La grotta è composta da due camere comunicanti, di cui la prima ellittica e la seconda di forma regolare con affreschi riproducenti delle Ninfe. Un'ulteriore trasformazione del giardino avvenne nei primi dell'Ottocento, quando il marchese Giuseppe Stiozzi Ridolfi incaricò l'architetto Luigi Cambray Digny di adeguare il giardino alla moda dell'epoca di gusto inglese. Il progetto, interrotto dall'asse centrale culminante nel tempio di Flora, proponeva, sia pure in uno spazio ristretto, percorsi sinuosi, collinette, piccoli specchi d'acqua, statue ed effetti di rovine.

Gli antichi elementi dominanti, Polifemo e la Grotta vennero totalmente assorbiti nella nuova composizione. Nel 1861, un nuovo passaggio di proprietà, segnò una successiva trasformazione ad opera della principessa Olga Orloff, che incaricò Giuseppe Poggi di ammodernare la villa ed il giardino. Poggi propose un disegno classicheggiante ripristinando il laghetto dal quale emergeva la statua di Polifemo.

Con i lavori per Firenze capitale, gli Orti furono divisi in due parti dalla Via Benedetto Rucellai. Successivamente intervennero altre manomissioni che tuttavia nel complesso non hanno sconvolto la fisionomia data da Giuseppe Poggi.