يعود تاريخ بناء القصر إلى أواخر القرن الثامن عشر الميلادي حين أمر ملك اليمن الإمام المنصور علي بن العباس وزيره علي بن صالح العماري (1736-1798) والذي اشتهر بالهندسة المعمارية والفلك، والشعر والأدب – أمره ببناء قصر في وادي ظهر ليكون قصراً صيفياً له. ويروي المؤرخون انه بني على أنقاض قصر سبئي قديم كان يعرف بحصن ذي سيدان الذي بناه الحميريون عام 3000 ق.م، ودمر الحصن على يد الأتراك قبل أربعمائة عام، وأُعيد ترميمه في بداية القرن العشرين على يد الإمام يحيى حميد الدين بعد أن توارثه عدد من الملوك اليمنيين. ويعد حالياً معلماً سياحياً يقصده الآلاف من أنحاء العالم.. كان البناء على طريقته الأولية لسنوات، حتى قام الإمام يحيى بن حميد الدين بإضافة الطابق الأعلى (المفرج).
