O hotel aséntase no antigo pazo medieval do Conde de Altamira. Hoxe en día dende os cuartos que dan á rúa dás Ameas obsérvase o bulicio da Praza de Abastos. Todo o espazo que agora ocupa o gran mercado de Santiago formaba parte dos xardíns do Pazo. O terreo do pazo orixinal estendíanse dende a igrexa de San Félix de Solovio ata a travesía que conducía á plazuela de San Agustín.
Este edificio emblemático no que a familia nobre residía moi preto da vella Universidade foi demolido no século XIX. O hotel aséntase sobre as súas ruínas e aínda hoxe consérvanse un pozo artesán e as columnas orixinais no soto, no acceso aos aseos do restaurante. Antes de converterse no Hotel Pazo de Altamira, este edificio acolleu uns almacéns de roupa de Santiago, os Almacéns Estévez. Deles queda a madeira orixinal de pinotea dos chans, recuperada na obra de rehabilitación feita para o hotel.
O proxecto do actual edificio foi obra do estudo de arquitectura Creus e Carrasco, dando forma a un hotel boutique de 16 cuartos que mantén o espírito deste edificio histórico no que se conservaron elementos como a madeira e a pedra.
A mansión dos Altamira tiña un configuración orientada á vida ensimesmada protexida de miradas alleas e envorcada cara ao recreo interior na horta e o xardín propios. Tiña planta baixa, piso nobre e ático seguindo o esquema habitual dos pazos urbanos galegos. Os xardíns contaban con horta, fonte, pozo e escaleira.
Os condes de Altamira eran uns dos terratenentes de Santiago. Ademais do espazo que hoxe ocupa toda a Praza de Abastos, tamén era da súa propiedade o Mosteiro de San Lorenzo e o seu carballeira, ata que en 1546 foi doada. Trinta anos máis tarde comezou a súa transformación en parque público coa construción dos primeiros paseos.