Fu commissionato da Cosimo il Vecchio a Michelozzo e iniziato nel 1444. Restò residenza di famiglia per oltre un secolo, fino al trasferimento della Corte Medicea in Palazzo Vecchio. Nel 1469 fu acquistato dai Riccardi, che apportarono alcune modifiche, sistemando la collezione d'antichità nel cortile e chiamando Luca Giordano ad affrescare la luminosa galleria del secondo piano.

Nella medesima ala si trovano le biblioteche Moreniana e Riccardiana, quest'ultima splendidamente decorata e ricca di manoscritti e libri. Passò in seguito ai Lorena e all'amministrazione provinciale. Oggi è sede della prefettura, oltre a disporre di alcune sale (definite "Museo Mediceo") utilizzate per mostre temporanee.

All'esterno, il Palazzo presenta un rustico bugnato a pianterreno, e bifore centinate ai due piani superiori. Il paramento della facciata, coronata da un cornicione aggettante, è a bugnato come nel pianterreno, a riquadro del primo piano, liscio nel secondo. Le finestre a mensole lungo il lato di Via De Gori furono aggiunte nel 1517, forse, da Michelangelo.

Il cortile a portico corinzio è decorato con stemmi e graffiti: presenta bifore al primo piano e una loggia chiusa. Al primo piano si raggiunge la Cappella dei Magi, emblematico ambiente dell'Umanesimo mediceo, realizzata intorno al 1460 e pervenutaci intatta, salvo la pala d'altare di Filippo Cippi, trasferita a Berlino e sostituita con una copia tardo quattrocentesca. I recenti restauri hanno restituito piena luminosità al ciclo di affreschi con il viaggio dei Magi verso Betlemme, capolavoro di Benozzo Gozzoli.

Facendo riferimento a processioni sontuose ed esotiche svoltesi a Firenze negli anni precedenti, il pittore ha immaginato uno spettacolare corteo fiabesco, inserendo tra i mille dettagli descrittivi i ritratti dei membri della famiglia dei Medici.
Il Palazzo fu pressochè terminato nel 1462.