昭和２（１９２７）年頃、外国人向け共同住宅「アパートメントハウス」として、民間業者によって建設されました。
　第２次世界大戦後、一時米軍による接収などを経て、平成元（１９８９）年に横浜市が歴史的景観の保全を目的に取得しました。
平成９（１９９７）年からは、建物の改修工事を行うとともに、中区パートナーシップ推進モデル事業として、市民の方々と建物の活用方法について検討を進めてきました。
　この検討を踏まえ、平成１１（１９９９）年から学識経験者や地域の方々、市民団体の代表の方々などからなる「山手２３４番館運営委員会」によって運営されています。