La Biblioteca nasce dal lascito testamentario di Luciano Benincasa che, nel 1669, dispone che la sua raccolta privata sia resa accessibile al pubblico. Nel 1749, Eleonora Vincenzi dona la libreria al Comune di Ancona, che la sposta dal palazzo della famiglia Benincasa al Palazzo degli Anziani. Nel 1911 viene unita all'Archivio Storico Comunale e, nel 1925, di nuovo trasferita. Alla fine del Secondo Conflitto Mondiale, il Comune acquista Palazzo Mengoni-Ferretti (attuale sede) e, nel 1950, vi apre la Biblioteca. Al 2007, possedeva circa 145.000 stampe. Tra le opere più antiche, 62 incunaboli del Quattrocento e 2600 libri del Cinquecento. Comprende anche 241 manoscritti musicali. Molto importante la parte dedicata alla storia comunale e regionale.
