Au début du 4ème siècle, les Gallo-romains qui vivaient à Orolanum (Arlon) fortifient la « Knipchen » (Butte Saint-Donat) pour se protéger des populations germaniques qui s’infiltrent dans l’Empire. Arlon devient ainsi un castrum (place fortifiée). Mesurant un peu plus de 800 m de pourtour, épais de 4 m en moyenne et haut d’environ 8 m, le rempart était percé de portes imposantes et jalonné d’une quinzaine de tours.
Le Musée de la « tour romaine Neptune » nous montre les vestiges d’une de ces tours, dégagés lors des fouilles de 1948. Les restes conservés sont encore impressionnants. Dans les fondations de la muraille, on aperçoit distinctement les restes de pierres sculptées provenant du vicus, dont un superbe bas-relief représentant Neptune.
Le Musée de la 2ème « tour romaine Jupiter Caelius » a été ouvert au public en automne 2012. Les Amis des Musées ont financé l’installation d’un puissant projecteur et une protection en verre de la pierre originale de Jupiter Caelius. Le Royal Office du Tourisme y fait projeter un film unilingue français retraçant les fouilles à Arlon de 2006 à 2009.