Il primo membro della famiglia Pianetti di cui si ha notizia è Antonio, giunto a Jesi da Urbino a metà del Cinquecento e lavorante nelle terre dei Nobili.
La fortuna economica della casata inizia con il figlio Giovanni Maria e con il nipote Marcantonio, affermato notaio che nel 1636 acquista il palazzo in contrada Valle – già convento delle Clarisse – e la Chiesa di S. Bernardo, che oggi ospitano la struttura comunale dedicata allo Studio per le Arti della Stampa. Marcantonio, rimasto senza eredi, adotta il figlio della sorella Giulia, andata in sposa ad Andrea Baldi: si tratta di Giovanni Maria, il vero iniziatore degli attuali Pianetti. Il primogenito dell’irascibile e stravagante Giovanni Maria è Giuseppe, grandissimo avvocato che, presi gli ordini sacri, fu Adiutore ad Avignone ed alla Nunziatura di Napoli, ambasciatore presso Luigi XIV (in quanto profondo conoscitore del gallicanesimo), Priore della città di Jesi ed, infine, Vescovo di Todi. Dotato di immensa cultura giuridica, fonda la Biblioteca Planettiana, nucleo dell’attuale Biblioteca Comunale Planettiana oggi ospitata nel rinascimentale Palazzo della Signoria.
E' il fratello Bernardo ad acquistare, nel 1659, il grado di nobiltà con 500 scudi, mentre nel 1668 i Pianetti diventano anche Conti palatini per volere del Papa.
Capitano della Serenissima, Bernardo è una “testa calda” e deve subire l’esilio per aver ferito un uomo. Grazie al fratello viene reintegrato ed ottiene diverse cariche pubbliche nella sua città.
Il figlio di Bernardo, Cardolo Maria sposa, contro il parere delle rispettive famiglie, Susanna Mannelli, scatenando una lunghissima lite tra le due casate.
Appassionato d’alchimia è tra i fautori della costruzione del Teatro del Leone. Il figlio Gaspare Bernardo, Priore e Gonfaloniere, si interessa all’arte e all’architettura, rinuncia alle cariche pubbliche per viaggiare ed entrare in contatto con gli ambienti culturali più vivaci.
E' lui che nel 1748 dà il via ai lavori del nuovo Palazzo Pianetti.
Il nuovo erede è Angelo, religiosissimo e padre di ben undici figli; buon amministratore, visse durante i difficili anni della Rivoluzione Francese e dell’occupazione napoleonica. Il figlio Gaspare Bernardo, Vescovo di Viterbo e Cardinale, rinuncia alla primogenitura in favore del fratello Settimio. Questi, dedito al gioco, perde gran parte del capitale di famiglia; sposa una cugina di Monaldo Leopardi, il padre del grande Giacomo.
Il figlio Vincenzo, in occasione del matrimonio con Virginia Azzolino, dà inizio al restauro del secondo piano del Palazzo, affidando all’architetto Angelucci il progetto di un nuovo appartamento, in seguito completamente affrescato. Dovendo affrontare gravi problemi finanziari, Vincenzo affitta parte degli ambienti interni e tenta di vendere la biblioteca di famiglia che, però, un lascito legava al Comune di Jesi.
Suo successore è Bernardo, detto Dino, che vive a Firenze; nel 1901 vende il Palazzo alla famiglia Tesei, gli ultimi proprietari prima della graduale acquisizione da parte del Comune che ne ha fatto la sede della Pinacoteca Civica.