Si tratta dell'antico edificio medievale dove risiedeva il Capitano del Popolo a partire dal 1357, già proprietà della famiglia Gualandi. Quando il Palazzo venne costruito incorporò anche la famosa Torre della Muda (o "della Fame") dove, nel 1289, morì il Conte Ugolino Della Gherardesca con i figli e nipoti, protagonista di una delle più celebri pagine della "Divina Commedia" di Dante Alighieri (Inferno, canto XXXIII). Il profilo della Torre è ancora riconoscibile a sinistra dell'arco centrale, dove si apre oggi la novecentesca quadrifora. Nel 1605-1608, in seguito all'accorpamento di due edifici tramite un arco con l'orologio, venne terminato il Palazzo nelle forme odierne, secondo il progetto di Giorgio Vasari. Dal 1566 ospitò l'Infermeria dell'Ordine dei Cavalieri di Santo Stefano; tra il 1607 e il 1609, Giovanni Stefano Marucelli e Filippo Palladini affrescarono la facciata e la volta interna dell'arco con figure allegoriche celebrative della Casa dei Medici e dell'Ordine. L'orologio e la cella campanaria risalgono al 1696. Nel 1919, l'edificio venne acquistato dal Conte Alberto della Gherardesca, che promosse un discutibile intervento di ristrutturazione in stile neogotico, con l'apertura della quadrifora. Negli anni '70-'80 l'edificio passò alla Scuola Normale di Pisa, che lo adibì a Biblioteca.