Il Castello posto sopra una rupe lo si vede da lontano incorniciato dai cipressi e per arrivarci occorre lasciare la strada statale 71 umbro-casentinese.
Il parco ai piedi del Castello è ricco di piante ed essenze del luogo alle quali si mischiano grandi palme che conferiscono all'insieme un aspetto tipico dei primi decenni del novecento.
Un Castello questo un po' anomalo rispetto agli altri esempi casentinesi, molto romantico nell'aspetto esteriore, con forme chiaramente del XV secolo, epoca in cui fu ricostruito. La prima notizia del Castello risale al 1022 quando era conosciuto con il nome di Sesto, nome di origine romana forse indicante il sesto miglio di distanza da Arezzo. Con Caliano, Bibbiano, Subbiano, La Nussa e Montegiovi faceva parte del sistema difensivo longobardo. Il Castello ebbe vicende storiche tormentate che culminarono nel 1130 con la sua distruzione ad opera del governo dei consoli aretini in guerra contro il poterre vescovile e l'abate di Santa Fiora. Furono i monaci benedettini a ricostruirlo e gli diedero il nome di Castelnuovo, ma nel 1170 fu distrutto di nuovo e poi ricostruito, finchè nel 1400 ceduto dalla Signoria di Firenze a Simone della Fioraia ambasciatore di Firenze come ricompensa per le sue imprese diplomatiche fu trasformato in casa da signore con abbellimenti rinascimentali che si ritrovano sia all'esterno che all'interno.
La cappella del Castello è stata stata affrescata nei primi anni del cinquecento da un allievo di don Agnolo di Lorentino, le cui opere sono molto comuni nelle chiese del contado aretino.
Molto bella e d'impatto la parte alta della Torre con beccatelli e merli e con le caditoie sotto le arcatelle che sorreggono lo sporto.
Oltre alla torre, anch'essa rimaneggiata, la corte interna è l'elemento che più mantiene inalterato il carattere medievale, seppure parzialmente rinnovato in caratteri neogotici, da notare come la scala del cortile interno riprende le forme di quella del cortile del Castello di Poppi.
Anche la porta, detta 'Porta Vecchia', è ben conservata e ai suoi lati sono murati gli stemmi di nobili famiglie della zona.
Come si giunge a Castelnuovo:
Provenendo da Arezzo si lascia la SS.71 al bivio per la zona industriale di Castelnuovo.