Il progetto della costruzione, voluto dal mercante Luca Pitti, prima amico e poi rivale di Cosimo "il Vecchio", risale a Filippo Brunelleschi, a cui il Pitti lo commissionò verso il 1440. Negli stessi anni Cosimo "il Vecchio" faceva realizzare a Michelozzo il Palazzo Medici di via Larga scartando un precedente progetto di Brunelleschi, ritenuto tanto sfarzoso da suscitare l'invidia dei concittadini.

Evidentemente il Pitti non aveva le stesse remore e volle per sé il più geniale architetto del tempo ordinandogli anche, secondo la leggenda, di disegnare finestre grandi quanto le porte del Medici e un cortile interno che potesse contenere l'intero palazzo di via Larga.

La struttura del Brunelleschi rispecchia il suo modello di palazzo rinascimentale: un cubo la cui altezza sia pari alla profondità, e rivestito da quel "bugnato rustico" (pietre sfaccettate) tipicamente fiorentino e tratto dalle cave della stessa collina di Boboli.

La superficie é suddivisa in tre piani, con tre portali a terreno e sette finestre per lato nei due piani alti. Un balcone attraversa l'intera facciata collegando le finestre mentre, sotto il tetto, viene eretta una loggia di coronamento.