En los tiempos del emirato omeya de Córdoba, la comarca se conocia como La Marca Media o "Al-Tagr al-awsat", y formaba un complejo sistema defensivo destinado a salvaguardar los territorios andalusíes situados al sur del Tajo frente a los avances cristianos. El sistema estaba basado en una serie de castillos y atalayas que escalonados a lo largo del río, el llano y las montañas que se encontraban a su espalda, controlaban el territorio circundante, cerrando cualquier intento de penetración desde el Norte, a la vez que servía de refugio a la población del territorio y apoyaba las razzias de los musulmanes en territorio cristiano.
    En la zona cacereña se conocen siete de aquellos emplazamientos que constituyeron parte importante de ese cinturón defensivo que debió formarse a partir de la ciudad islámica de Vascos (Navalmoralejo, Toledo); se le conoce con el nombre de Castros, al menos desde el siglo XII, cuando aparece citado en un privilegio otorgado por Alfonso VIII al Concejo de Ávila. Sin embargo su construcción, en comparación, con otras clasificadas como beréberes del Alto Tajo debe datar de al menos del siglo X.

    Construido en el espigón que forma la desembocadura del arroyo Pizarroso en el Tajo, vigilando los puentes que enlazaban las orillas de ambas corrientes. Su planta está diseñada y construida, siguiendo un esquema ampliamente difundido por Al-Andalus y el Magreb, consistente en un rectángulo de torres cuadradas, pero adaptado con la cota del otero en el que se asienta. El interior aparece hoy totalmente desocupado, a excepción de una estructura rectangular que delimita un aljibe y los restos de la primitiva atalaya, desde la cual se comunicarían con las poblaciones vecinas. La puerta mirando al río se halla guarnecida por dos torres de cubos cuadrados.

    Fuera del castillo se extiende paralela a la orilla, los restos de una aldea sujeta a su protección, con viviendas de planta rectangular, construidas, al igual que el castillo con aparejo granítico, material abundante en los alrededores. Su abandono y despoblación, se inicia con la rendición de Toledo por Alfonso VI, y la posterior ocupación cristiana de los valles del Tajo.