En época de Diocleciano, y como consecuencia de la creación de la nueva provincia Carthaginensis, con capital en Cartagena, la importancia de El Tolmo debió aumentar considerablemente, aunque es a partir del siglo VI, en razón de su emplazamiento y de su carácter fronterizo, cuando se convierte en un centro de primer orden.
La instalación de los bizantinos en Hispania supuso el inicio de una serie de hostilidades con el reino visigodo que se desarrollaron sobre todo en el sureste peninsular. Leovigildo emprendió diversas ofensivas contra los territorios bizantinos, entre las que cabe señalar las campañas de la Bastetania y de la Orospeda, entre los años 570 y 577. Las ofensiva de Sisebuto en la Bética (613-15) y la de Suintila que culminó con la captura y destrucción de la ciudad de Carthago Spartaria (Cartagena) el año 625, marcan el final del dominio bizantino en territorio peninsular. En todas estas campañas, la antigua vía romana que unía Carthago Noua (Cartagena), ahora capital bizantina, con Complutum (Alcalá de Henares) y Toletum (Toledo), la capital del reino visigodo a partir de Leovigildo, tuvo que desempeñar sin duda un importante papel. El dominio efectivo visigodo abarcó los últimos tres cuartos de la séptima centuria, hasta la conquista islámica en los primeros años del siglo VIII.
En el caso de El Tolmo las excavaciones han exhumado un importante complejo defensivo del siglo VI en la vaguada del Reguerón, en el mismo emplazamiento de las fortificaciones más antiguas, que se aprovecharon como muro trasero del nuevo proyecto. La obra se plantea como un baluarte macizo en forma de "L" que, partiendo del espolón rocoso meridional, cierra perpendicularmente la vaguada y flanquea el principal acceso viario de la ciudad, que todavía conserva las huellas del paso de los carros. La entrada estuvo defendida por dos sólidas torres de sillería, de las que únicamente se conserva en alzado parte de la izquierda, mientras que la derecha, de la que sólo es visible su cimentación, fue expoliada en épocas recientes.
El acceso se hizo a través de un corredor abovedado entre ambas torres, según se deduce del arranque de un arco conservado en la esquina de la torre izquierda; la puerta propiamente dicha era de doble batiente y se situaba en la parte externa de las torres, donde se conserva su mortaja, los huecos de los goznes protegidos por sendos guardacantones, el recorte en la roca para alojar la hoja de la puerta una vez abierta y un cerradero.
El baluarte está formado por un forro de sillares, con epígrafes y elementos arquitectónicos reciclados de construcciones anteriores, entre las que se encuentra la inscripción de Augusto, y por un relleno macizo de tierras y mampuestos colocados a la manera del opus spicatum, que alterna con capas de argamasa, y entre los que se incluyen fragmentos de monumentos. Los sillares del forro se disponen a soga, aunque existen algunos tizones, piezas largas a modo de tirantes que traban el forro con el relleno.
Todos los datos arqueológicos sugieren que la fortificación debió construirse en un momento indeterminado de la segunda mitad del siglo VI, en relación con los problemas fronterizos entre bizantinos y visigodos que hemos comentado. Su deterioro debió iniciarse ya en el siglo VII, como indican los distintos materiales (cerámicas, vidrios, metales, etc.) recuperados en los vertederos. Este dato confirma que una vez que los bizantinos fueron vencidos y la ciudad se incorporó definitivamente al dominio visigodo, su valor estratégico y fronterizo se perdió y el mantenimiento de sus defensas pasó a tener un papel secundario.
Entre los siglos VI y VII se realizó un replanteamiento urbanístico que afectó a toda la superficie del cerro, donde se ubican instalaciones industriales, necrópolis, edificios públicos y religiosos y viviendas, formadas éstas últimas por estancias rectangulares dispuestas en torno a espacios abiertos, según un modelo que continúa vigente en época islámica.
El edificio más importante de los hasta el momento excavados es sin lugar a dudas la iglesia, de planta basilical con tres naves separadas por arquerías sobre columnas, y con baptisterio, también de tres naves --pero separadas por pilares y canceles-- a sus pies; la nave central es en ambos casos de mayor anchura que las laterales. La cabecera tiene un ábside de medio punto peraltado y exento ante el cual se localiza el santuario, algo sobreelevado y delimitado por canceles; en el lado meridional hay dos estancias anejas, una a la altura del santuario y otra en el extremo occidental, cercana al baptisterio; ambas se comunican con la nave lateral mediante un vano con escalones tallados en la roca. Sobre las columnas debían voltear arquerías de medio punto, a juzgar por las dovelas aparecidas en distintos lugares y sobre todo por un arco casi completo desplomado en el hueco del último intercolumnio a los pies de la iglesia.
A la función propiamente litúrgica se une otra de carácter funerario constatada por la aparición de sepulturas, tanto dentro de la iglesia como fuera, sobre todo en el entorno de la cabecera y junto al baptisterio. Se trata, en la mayoría de los casos, de sepulturas talladas en la roca, con cubiertas de lajas y una obra de cal y pequeñas piedras para conseguir un perfecto sellado, y sabemos que al menos parte de los enterramientos tenían encima un túmulo de piedra machacada. Se trata en todos los casos de deposiciones canónicas, en decubito supino, orientadas de oeste a este. La aparición de broches de cinturón, de placa rígida sencilla y liriformes, proporciona a las inhumaciones una fecha post quem del s.VII d.C.
Al norte de la basílica se extiende un edificio de grandes dimensiones y estructura monumental que corresponde al palacio episcopal.
Lo forman diversas estancias comunicadas entre sí y amplios espacios que, por sus dimensiones, bien pudieron funcionar como patios. Las estancias, al igual que ocurre con la basílica, estaban enlucidas con cal o yeso y por fortuna se han conservado graffiti con textos y dibujos.
El espacio principal es un aula de grandes dimensiones tallada en la roca y con contrafuertes adosados a los muros. Está dividida en dos naves mediante una columnata central. Sin duda fue el aula palacial, el lugar donde el obispo celebraba sus audiencias y donde se desarrollarían las ceremonias de tipo civil.
A finales del siglo VI, los visigodos crearon dos nuevas sedes episcopales en la región, es decir otorgaron el rango episcopal a dos ciudades que no lo poseían, lo que implicaba la existencia de una catedral y la residencia de su obispo. Esas dos ciudades fueron Begastri y Elo o Elota, como se atestigua por vez primera en las actas del Sínodo de Gundemaro del año 610, donde los obispos Vicente y Senable firman en representación de las sedes begastrense y elotana respectivamente. La identificación del obispado de Vicente con la ciudad romana de Begastri en Cehegín no ofrece duda, ya que en dicha ciudad se hallaron sendas inscripciones que mencionan a otros obispos de la misma sede. Por el contrario, la ubicación de la sede Elotana ha resultado más problemática, ya que la identificación más extendida, que la relaciona con un pequeño yacimiento, El Monastil, próximo a la alicantina ciudad de Elda, se apoya preferentemente en el parecido toponímico de los vocablos y no ha sido probada arqueológicamente.
La aparición de la basílica y del edificio público que debe identificarse con el palatium o el palacio episcopal ponen a El Tolmo como principal candidata como sede Elo.
La creación de ambas sedes a finales del siglo VI suele explicarse por la necesidad de organizar religiosamente los territorios incorporados al reino visigodo, que hasta ese momento eran dependientes de las sedes de Carthago Spartaria (Cartagena) e Ilici (La Alcudia, Elche), aún en territorio bizantino. Tras la incorporación definitiva de estos territorios, parece que la sede begastrense se mantuvo como tal hasta época islámica, mientras que la elotana debió ser asimilada nuevamente por la Ilicitana, pues los obispos de esta última acuden a los concilios en representación de ambas durante algún tiempo. La magnitud y el carácter inequívocamente urbano de los restos descubiertos en El Tolmo, así como su situación estratégica en las estribaciones de la Oróspeda, dominando las vías interiores a Carthago e Ilici, permiten valorar la ubicación de dicha sede en la ciudad de El Tolmo.