Pierwotny zamek powstał w Międzylesiu w 1370 roku. Był siedzibą rycerskiego rodu Glaubitzów i został zniszczony w czasie wojen husyckich. Później przekształcono go w renesansowy dwór i kilkukrotnie przebudowywano. Obiekt ten kilkukrotnie płonął podczas pożarów.