西山家住宅は阪急宝塚線岡町駅の西400mにあり、岡町住宅のほぼ中央に位置している。当主の父が大正元年（1912）に岡町住宅経営株式会社から家屋（現主屋）付きで購入したものに加え、翌2年に南隣の土地を箕面有馬電気軌道株式会社から購入して合せたものが現在の敷地である。 　岡町住宅は明治45年の開発で、宝塚沿線に開発された住宅地の中では明治43年の室町住宅地（池田市）に次ぐ古さを持っている。 　主屋は二階建てで地元の森田工務店の施工による建売である。 　ほどなく南側の土地に洋館を建て、昭和4年（1929）には地元の河崎組の施工で離れ座敷を建てている。その後昭和14年から同16年にかけて三越大阪支店住宅建築部（技師岡田孝男）による洋館の改造、離れ座敷の茶室の改造と待合の新築そして京都の造園業者川崎潤一郎と重森三玲による枯山水の造園があり、敷地の南半分には高塀で囲まれたなかに和洋を混じた近代的な数寄屋と庭が総合された空間を出現させた。