Old Westbury Gardens, der er opført på National Register of Historic Places, er det tidligere hjemsted for John S. Phipps, hans kone, Margarita Grace Phipps og deres fire børn.
Det storslåede palæ i Charles II-stil blev færdiggjort i 1906 af den engelske designer George A. Crawley og ligger omgivet af 200 hektar formelle haver, anlagte grunde, skovområder, damme og søer.
Westbury House er indrettet med fine engelske antikviteter og dekorativ kunst fra familiens mere end 50 års bopæl.