Detalle de la acuarela del pintor Pier Maria Baldi del 4 de diciembre de 1668, a su paso por Santisteban del Puerto. Baldi formaba parte del séquito que acompañó a Cosme de Médicis en su viaje por España y Portugal.
«De la Venta de los Santos a la de San Andrés las sierras se van abriendo a un gran valle, todo sembrado de encinas, que al final se convierte en una llanura y da paso a sembrados y algunos cultivos de vid.
San Estevan está frente a la venta de San Andrés, a un cuarto de legua, incrustado entre montañas que lo encierran en su seno y lo dejan abierto hacia la llanura. En lo alto de un peñasco, la casa del Conde; una construcción singular. Al otro lado, en lo alto de otra montaña, se puede ver un castillo construido por los moros, de piedra, con muros y una torre morisca, que en la actualidad es completamente inútil y en ruinas. Lo llaman el Castillo Vermejo, quizá por el color del peñasco, completamente erosionado.»
De los diarios del viaje de Cosme de Médicis por España y Portugal (por Lorenzo Magalotti, Filippo Corsini y Juan Bautista Gornia, recogidos en Viaje de Cosme de Médicis por España y Portugal (1668-1669), edición y notas de Ángel Sánchez Rivero y Angela Mariutti, Madrid, vol. I)