Schody Cesarskie prowadzą na Wieżę Matematyczną, której pomieszczenia stanowią dzisiaj przestrzeń ekspozycyjną Muzeum Uniwersytetu Wrocławskiego, a taras widokowy stwarza turystom możliwość podziwiania panoramy miasta. Wieża to dawne Obserwatorium Astronomiczne, urządzone w końcu XVIII wieku. Założył je w 1791 roku eksjezuita Longinus Anton Lorenz Jungnitz, profesor wrocławskiej Leopoldiny, zapalony przyrodnik, fizyk i astronom. Głównymi instrumentami naukowymi tego początkowego okresu były: luneta o ogniskowej 5 stóp, instrument przejściowy o ogniskowej 6 stóp oraz skonstruowany w najwyższej kondygnacji wieży gnomon z wytyczoną w posadzce linią południkową, zachowaną do dnia dzisiejszego.
Utworzenie wrocławskiego Obserwatorium łączyło się z bujnym rozwojem nauk przyrodniczych, a przede wszystkim astronomii, opartej na systematycznej obserwacji. Temu celowi służyły też te pierwsze przyrządy pomiarowe, dzięki którym można było sporządzać coraz dokładniejsze tablice astronomiczne, tzw. roczniki, zawierające dane o położeniu ciał niebieskich w poszczególnych dniach roku. Temu również służyła wytyczona w latach 1790-1791 w podłodze Wieży Matematycznej linia południkowa. Ma ona długość 15,4 m i szerokość 29 cm, tworzą ją trzy pasma marmurowych płytek, wpuszczonych na głębokość 5 cm poniżej podłogi i przykrywanych dębowymi płytkami. Nad południowym krańcem linii został wykonany otwór gnomonu, przez który wpadało światło. Północny koniec linii, wspinający się pionowo na ścianę wieży na wysokość 2,3 m, został dodatkowo ujęty w dwa pasma marmuru. W swoich zapiskach Jungnitz podawał, że podczas przesilenia zimowego plamka słoneczna przechodziła przez południk w odległości 50 stóp (14,4 m) od południowego końca linii i że miała wówczas szerokość 5 cali (13 cm), co potwierdza geometrię instrumentu.
Obserwacje następców Jungnitza, von Bogusławskiego i Galle’go, dokonane między 1831 a 1832 rokiem, spowodowały korektę obserwacji i określenia linii południkowej, ostatecznie wyznaczając ją na 17°2’5″E (według najnowszych pomiarów 17°2’00,4936″). Na początku XIX wieku, jeszcze pod kierunkiem Jungnitza, obserwatorium wzbogaciło się o ważne instrumenty: zegar Brockbanków, wskazujący czas gwiazdowy, instrument przejściowy Dollanda z obiektywem o szerokości 68 mm oraz heliotrop Fraunhofera z obiektywem o średnicy 72 mm. Zakres badań Jungnitza, który działał głównie na polu astronomii geodezyjnej i meteorologii, znacznie rozwinęli, sięgając ku gwiazdom, jego następcy. Palm Heinrich Ludwig von Boguslawski w dniu 20 kwietnia 1835 roku odkrył teleskopowo kometę. Był jednym z pierwszych obserwatorów komety Halleya, wielkim znawcą planetoid, rojów meteorów i ich orbit. Następca Bogusławskiego, Johann Gottfried Galle, był odkrywcą wielu komet i półciemnego pierścienia Saturna, a wsławił się szczególnie odkryciem w dniu 23 września 1846 roku planety Neptun.
Dzięki zaadoptowaniu tarasu Wieży Matematycznej na cele turystyczne, miejsce to stało się jednym z ulubionych zakątków Wrocławia. Rozpościera się stąd piękna panorama miasta, a niezbyt duża wysokość tarasu (ok. 42 m) sprawia, że wszystkie widoczne obiekty, w tym wieże kościołów i współczesne wysokościowce, można bardzo łatwo zidentyfikować.
Biorąc pod uwagę swoje astronomiczne funkcje nazwa Wieża Matematyczna zdawać się może myląca – nosi takie miano gdyż powstała jako jedyna z trzech planowanych wież. Ponad Bramą Cesarską górować miała Wieża Dzwonów, zaś cały budynek miał być nieco dłuższy w kierunku wschodnim i w tym właśnie skrzydle miała znajdować się Wieża Astronomiczna.