Η πόλη των Σερρών υπήρξε η πιο οχυρωμένη πόλη της περιοχής λόγω της στρατηγικής γεωγραφικής της θέσης. Στα βόρεια της πόλης των Σερρών, πάνω σε λόφο γνωστό με την επωνυμία Κουλάς, βρίσκεται η αρχαία και βυζαντινή ακρόπολη. Η ακρόπολη όπως σώζεται σήμερα αποτελεί έργο των βυζαντινών χρόνων, αλλά θεμελιώθηκε πάνω σε αρχαίο φρούριο του 7ου και 6ου π. Χ. αιώνα. Η κατασκευή της ακρόπολης χρονολογείται στον 9ο μ. Χ. αιώνα, πιθανότατα, επί Αυτοκράτορα Νικηφόρου Φωκά και αναφέρεται σε πολλά βυζαντινά χρυσόβουλα ως «κάστρο» με γνωστότερο καστροφύλακα τον Λέοντα τον Αζανίτη. Με την πάροδο των χρόνων ολόκληρη η πόλη χαρακτηριζόταν ως «κάστρο» και οι Σερραίοι, «καστρινοί».
Η πόλη για μεγαλύτερη ασφάλεια οχυρωνόταν από τρεις σειρές με τείχη. Αν καταλαμβανόταν το πρώτο εξωτερικό τείχος της πόλης, η πόλη αμυνόταν από το δεύτερο στις παρυφές του λόφου της ακρόπολης και σε δύσκολες στιγμές κατέφευγαν στο τρίτο πάνω στην κορυφή του λόφου.
Επί Φράγκων ονομαζόταν «καστέλι» ενώ στη διάρκεια της Τουρκοκρατίας μετονομάστηκε σε «Μπας Κουλέ» που σημαίνει κεφαλόπυργος. Από την τελευταία ονομασία προήλθε το σημερινό όνομα της ακρόπολης, «Κουλάς». Το τείχος της Ακροπόλεως αναφέρεται και από τον γνωστό περιηγητή Εβλιά Τσελεμπή. Ο Γάλλος καπουτσίνος μοναχός Robert de Dreux γράφει πως υπήρχαν τέσσερις πύργοι κατά μήκος του τείχους.
Μετά το 1204 η πόλη περιήλθε στην δικαιοδοσία του Φραγκικού Βασιλείου της Θράκης. Το 1206 κομμάτια από τα τείχη της πόλης και μέρος της ακρόπολης καταστράφηκε από τον Βούλγαρο τσάρο Ιωάννη Α' (Ιωαννίτσης), τον επονομαζόμενο από τους Βυζαντινούς Σκυλογιάννη. Η ακρόπολη ανακατασκευάστηκε το 1208 και μέχρι την κατάκτηση της πόλης από τους Τούρκους το 1383 έγιναν πολλές προσθήκες από τους άρχοντες της πόλης.
Ο Πύργος του Ορέστη
Από τους τέσσερις πύργους σώζεται μόνο «ο Πύργος του Βασιλέως» στη δυτική πλευρά του τείχους. Είναι γνωστός ως «πύργος του Ορέστη» λόγω της επιγραφής που βρέθηκε εντοιχισμένη στο κάστρο. «ΠΥΡΓΟΣ ΑΝΔΡΟΝΙΚΟΥ ΒΑΣΙΛΕΩΣ ΟΝ ΕΚΤΙΣΕΝ ΟΡΕΣΤΗΣ». Ο Πύργος του Ορέστη σήμερα έχει ύψος περίπου 18 μέτρα αλλά υπολογίζεται ότι αρχικά και με τις επάλξεις του ότι έφτανε τα 20 μέτρα. Αυτός ο πύργος ήταν το τελευταίο σημείο άμυνας σε περίπτωση που ο εχθρός καταλάμβανε την Ακρόπολη.
Σήμερα η ακρόπολη των Σερρών αποτελεί αξιοθέατο της πόλης των Σερρών με θέα όλη την πόλη.