La historia de este pintoresco pueblo data de la Edad de Hierro cuando estuvo habitada por la tribu celta de los lobetanos; de hecho y durante la época romana se llamó, al parecer, Lobetum. Mas tarde en la Edad Media el clan bereber de los Banu Razin alcanzó el poder convirtiéndose en la dinastía soberana de la taifa de Albarracín. De este linaje procede el propio nombre de la población (al-Banu Razin: (la ciudad) de los hijos de Razín). La torre del Andador -situada en lo alto del recinto exterior- y el Castillo de Albarracín, que albergó la antigua alcazaba de los Banu Razin son legados de esta epoca.
Posteriormente, pasó por cesión que no por conquista, a la familia navarra de los Azagra, llegando a crear incluso un obispado propio. También el poderoso linaje de Lara ejerció su soberanía sobre Albarracín. Tras el fracaso de conquista por parte de Jaime I en 1220, es Pedro III de Aragón quien la conquistó en 1285 tras sitiarla, pasando definitivamente a la Corona de Aragón en el año 1300. Esta serie de hechos tuvieron como base la importancia de la fortaleza y del sistema defensivo de Albarracín.
