Caxaras es un nombre árabe que significa La fortaleza. Julio César estuvo en el pueblo y llamó al Castillo: Castellum Caesaris, o Castillo del César. De esta denominación derivó después el nombre de Casares. El Castillo del siglo XIII fue inexpugnable durante siglos, desde los tiempos de los antiguos romanos hasta la guerra contra los franceses y Napoleón.
El origen de Casares se remonta a los tiempos de los iberos y fenicios, encontrándose en los límites de los bástulos. En el cortijo de Arepiche, se encuentran tres aras con inscripciones, que corresponde íntegramente a la ciudad de Lacipo, una de las más importantes del litoral malagueño. En el año 61 antes de Cristo, Julio César, de quien se deriva el nombre de la ciudad, utilizó los famosos baños de la Hendionda, para curarse con sus aguas sulfurosas la enfermedad hepática que padecía. Sus propiedades curativas se hicieron famosas en toda Roma. En 1361, fue elegida como lugar de concentración de Don Pedro el Cruel y el destronado Rey de Granada, Mohamed V, para iniciar la campaña que debía devolver el trono al monarca granadino. Durante el levantamiento morisco contra Felipe II en el año 1570, Casares fue el centro de las operaciones. En la ermita de Nuestra Señora del Rosario del Campo se reunieron los notables moriscos con el duque de Arcos y se puso fin a la revuelta. El notario Blas Infante, iniciador del movimiento nacionalista andaluz, nació en esta ciudad el 5 de Julio de 1885. Sus peculiares callecillas, intrincadas y escarpadas, junto a las casitas que las configuran en pintoresca disposición, hacen que Casares tenga la denominación de Pueblo Colgante.