Tra via Santoni e vicolo Ripanti, il palazzo, eretto forse nella seconda metà del ‘200, è un austero edificio, probabilmente una ex fortezza visto anche che la parete posta ad est non possiede alcuna finestra; sicuramente era un punto strategico-militare importante per la città di Jesi.
I Santoni lo fecero decorare, affidandone i lavori forse a Gabriele Da Como. Ancora oggi si conservano due finestre sul cui fregio decorativo si può leggere De Santonibus Sullo spigolo dell’edificio, sostenuto da una mensola in pietra, si trova uno stemma con un cappello vescovile. Nel portale rimane la scritta Aed Sant.
Gli spazi a piano terra sono di proprietà del Comune di Jesi e ospitano manifestazioni artistiche e culturali a carattere temporaneo.