Fu costruito dai vescovi di Torino prima del 1100 a difesa di una parte dei loro possedimenti. Nel 1235 gli abitanti di Montaldo fecero spontanea sottomissione alla repubblica di Chieri.
Il vescovo di Torino continuò a darne l’investitura a suoi fedeli che però dovevano avere casa in Chieri.
Ne furono quasi sempre infeudati i primogeniti di Casa Balbo dei Simeoni, finchè nel 1769 ne fu investito il conte Carlo Emanuele Ferrero d’ Ormea. Questi ricostruì il castello per farne sua dimora signorile.
Nel 1810 passò in proprietà del conte Ponte di Lombriasco che lo vendette nel 1819 al collegio dei nobili di Torino diretto dai PP. Gesuiti. Questi ne fecero la villeggiatura estiva del collegio e fabbricarono le due ali.
Successivamente fu villa estiva del collegio Carlo Alberto di Moncalieri, diretto dai PP. Barnabiti.
La facciata della costruzione è settecentesca, affiancata dalle due torri angolari rifatte forse su quelle del castello medioevale. Sulla torre destra è stata ricavata una cappellina circolare, di sui si vede la finestrella a rosone.
Il cortile interno è racchiuso dalle ali costruite dai Gesuiti, i quali abbassarono il livello del terreno per utilizzare lo scantinato come primo piano, demolendo la scalinata scenografica.
