Il centro storico, racchiuso nelle mura di fortificazione, assume contorni molto interessanti; si raccoglie silenziosamente attorno alla chiesa Parrocchiale dei Santi Simone e Giuda e al Palazzo Baronale che ha perso molto della struttura originaria ed oggi è adibito ad abitazione privata.
Castelverrino si adagia sul fianco di una collina ed è costituito da abitazioni in pietra nella parte più antica, a due o tre piani, cui si sono aggiunte costruzioni di foggia più moderna con muratura ad intonaco. Ovviamente lo schema architettonico è quello di tutte le fortificazioni medioevali, vale a dire il castello e la chiesa intesi come fulcro del paese, mentre il centro abitato è disposto attorno Sono ancora evidenti le strutture del Palazzo Signorile che non si distaccano, per caratteristiche, da quelle di consimili palazzi della zona. Nell’accogliente piazza principale, all’ingresso del paese, è una discreta stele romana che sovrasta un vecchio lavatoio in disuso e c’è una fontana zampillante che funge da arredo centrale.