고야마 가문은 중세부터 명맥을 이어온 오래된 가문으로 가업인 약 처방을 하면서 에도 시대(1603~1868)동안 지방 관청으로서 기능하며 고이데 번의 지방관도 역임하고 있었다. 이 건물은 에도 말기(19세기)에 본가에서 분가하여 통칭 ‘히가시고야마’로 불리는 주택이다. 당 주택 주변은 사카이시 중남부에 위치하여 급속하게 개발이 진행된 시내에서는 보기 드문 전원 경관이 펼쳐지는 일대이다. 부근에는 사찰과 신사 등 역사적 건조물이 곳곳에 있는데 지금의 당 주택은 시내에서 드문 부농의 주택건축으로서 중요하다. 북쪽에 도키가와를 배경으로 완만힌 언덕에 있고, 석회벽 창고와 흙담장, 무사가옥 정문으로 사방을 둘러쌓인 부지안에는 안방과 방을 비롯해서 수 많은 건축물이 있다. 본채는 에도 말기(19세기)의 건축으로 골기와로 이은 팔작지붕과 굴뚝 등의 중후한 외관을 특징짓고 있다. 뜰에 면한 방 2칸의 간막이와 마루에 에도 말기의 오사카의 화가 가네코 셋소의 산수화가 그려져 있다.