La sistemazione del giardino fu affidata a Niccolò Pericoli detto il Tribolo, il quale realizzò un tipico giardino cinquecentesco secondo un chiaro disegno geometrico. La scelta delle piante e la loro sistemazione venne affidata poi al botanico Luca Ghini, fondatore dell'Orto botanico di Pisa.

Alterne vicende segnarono la vita del giardino che ebbe periodi di splendore ai primi del Settecento, quando Cosimo III lo affidò alla Società Botanica sotto la direzione di Pier Antonio Micheli, Giovanni, Ottaviano ed Antonio Targioni Tozzetti che curarono la coltivazione sia di essenze medicinali sia di esemplari d'interesse scientifico. Nel 1753, quando la Società Botanica si fonde con l'Accademia dei Georgofili, il giardino entra a far parte di un sistema specializzato di studi, sulle piante e sulle erbe, legato alla "sperimentazione agraria".

La planimetria del giardino subisce trasformazioni: sparisce la partitura in assi diagonali, i parterre diventano grandi riquadri bordati. Nel corso dell'Ottocento l'Orto viene aperto al pubblico e vengono costruite le serre e demoliti gli alti muri su via La Pira, sostituiti da muri bassi con cancellata.

Oggi si presenta con un disegno basato su partiture rettangolari, che ospitano piante secolari tra le quali un tasso piantato nel 1720. Famosissima per l'eccezionale effetto nel periodo della fioritura è la collezione di azalee che comprende alcuni esemplari quasi centenari.