In de middeleeuwen gaf de bisschop van Utrecht opdracht tot ontginning van de gronden rond Linschoten. Daarna was het land in handen van verschillende adellijke families. Een eerder Kasteel Linschoten stond elders in het huidige dorp Linschoten, en was waarschijnlijk eind 16e eeuw al verdwenen. Het is dus niet de directe voorganger van het huidige huis.
In 1628 werd het land gekocht door Johan Strick, de latere burgemeester van Utrecht, die het huidige landhuis liet bouwen. Hierna bleef het ruim 200 jaar in dezelfde familie Strick van Linschoten.
In 1850 erfde Elisabeth barones von Arnim op 16-jarige leeftijd het huis van haar oom Emile Strick van Linschoten. In 1855 trouwde zij met Friedrich Wilhelm graaf von dem Bussche Ippenburg. Else van Arnim liet op het landgoed een wit gebouwtje plaatsen in Zwitserse chaletstijl, dat ze De Elsehof liet noemen.
In 1891 kocht de Utrechtse sigarenfabrikant Ribbius Peletier het 500 hectare grote landgoed. De laatste eigenaar was Gerlachus Peletier jr., die in 1969 kinderloos overleed. Al voor de Tweede Wereldoorlog had hij het landgoed in een stichting ondergebracht, vandaar dat sinds 1969 het huis en landgoed in bezit zijn van de Stichting Landgoed Linschoten.
In de Tweede Wereldoorlog is het kasteel niet in handen van de Duitsers gevallen, omdat er maar één smal weggetje naartoe loopt. Er waren wel buitenlandse soldaten gelegerd.
