La chiesa di Castelnuovo appare citata per la prima volta in una bolla del Papa Lucio III del 1181 col titolo di cappella del castello, mentre l'attuale chiesa parrocchiale è stata costruita nel XIX secolo su progetto di Cesare Costa ed è intitolata al Papa San Celestino I. All'interno merita di essere citata la decorazione del catino absidale sul tema "il primato di San Pietro". Bella la decorazione della cupola nella quale viene esaltata la "gloria della croce". Pregevole è pure la decorazione dei pennacchi in cui vengono raffigurati i simboli dei quattro evangelisti. Nel 1888 fu eretto il campanile su disegno dell'ingegnere Pio Soli, castelnovese.