Silvi si distingue in due centri abitati: l'uno il noto luogo balneare e sede comunale, l'altro, arroccato su una collina, conosciuto come Silvi Paese o Silvi Alta. Nell'antico borgo, posto sul crinale di un colle, che presenta un nucleo antico costituito da vicoli e case del XVIII secolo, rimangono costruzioni ottocentesche e moderne. Della cinta muraria resta solo una parte e una delle porte d'accesso. Ciò che residua dal mastio, conosciuto come il trecentesco Castel Belfiore, invece, testimonia il sistema difensivo in atto nel Medioevo.