Il grande ambiente ha l'aspetto di una chiesa a croce latina.
I bracci laterali e la Galleria dei Prigioni occupano spazi del medievale Ospedale di San Matteo, mentre la Tribuna che ospita la statua del David fu appositamente costruita su progetto dell'architetto Emilio De Fabris tra il 1873 e il 1882.

A partire dal 1980 la Galleria è stata oggetto di notevoli ampliamenti: nel vasto salone al piano terra, detto delle Toscane, nel suggestivo spazio in cui anticamente si trovava la corsia delle donne dell'Ospedale di San Matteo, sono state esposte nel 1985 le opere dei professori dell'Accademia ottocentesca; in particolare ha qui trovato una collocazione definitiva la gipsoteca che gli eredi dello scultore Lorenzo Bartolini avevano donato allo Stato italiano poco dopo la sua morte, avvenuta nel 1850.
Alle opere di Bartolini sono stati aggiunti i gessi di un altro grande scultore dell'Ottocento toscano, Luigi Pampaloni, mentre al primo piano, in quattro sale precedentemente non utilizzate per l'esposizione permanente, hanno trovato sistemazione il preziosissimo nucleo della pittura tardogotica fiorentina e la singolare collezione di icone russe provenienti dalla raccolta privata dei granduchi di Lorena.

Il nucleo principale della collezione si formò nel 1784 con un gruppo di antichi dipinti donati dal granduca Pietro Leopoldo all'Accademia, che riuniva le varie scuole di disegno, affinché gli antichi maestri potessero servire da modelli per le esercitazioni degli allievi.
Nel 1785 e, più tardi, nel 1808-1810, la Galleria fu arricchita delle opere acquisite in seguito alle soppressioni di ordini religiosi operate in quegli anni.

Nel 1873 vi fu portata la scultura del David, che prima era collocata davanti a Palazzo Vecchio, in piazza della Signoria.
L'esposizione agli agenti atmosferici aveva fatto subire notevoli danni al capolavoro di Michelangelo, ma questo non fu l'unico motivo per cui si decise il trasferimento all'Accademia.

Si voleva infatti anche allestire una grande mostra su Michelangelo in occasione del quarto centenario della sua nascita, nel 1875, e in seguito allestire un vero e proprio museo michelangiolesco composto di opere originali, calchi e disegni. Da allora l'Accademia cominciò a qualificarsi come il "Museo di Michelangelo". Al 1939 risale l'acquisizione della Pietà ritrovata nella Cappella Barberini a Palestrina, la cui attribuzione a Michelangelo è però oggi messa in dubbio da molti studiosi.

La collezione delle tavole a fondo oro ospitata nelle sale dette Bizantine del piano terra e nei quattro ambienti del primo piano fornisce una visione chiara e completa della produzione artistica fiorentina del periodo fra Giotto e Masaccio.

Fra esse, le formelle delle Storie della vita di Cristo e di san Francesco di Taddeo Gaddi, San Lorenzo e san Bartolomeo di Bernardo Daddi, il trittico della Pentecoste di Andrea Orcagna.

Opere di particolare interesse sono poi il Cassone Adimari, attribuito a Giovanni di ser Giovanni detto Lo Scheggia, Santo Stefano fra i santi Iacopo e Pietro del Ghirlandaio, la Madonna col Bambino, san Giovannino e due angeli del Botticelli, l'Assunzione della Vergine di Pietro Perugino, Venere e Amore di Iacopo Pontormo.