Ανάμεσα στα βυζαντινά παρεκκλήσια της Καστοριάς, τα οποία διαθέτει αυτή η ιστορική και μαρτυρική πόλη, υπάρχουν και δυο παρεκκλήσια αφιερωμένα στον Άγιο Αλύπιο τον Κιονίτη εκ της Παφλαγονίας και τον Άγιο Στυλιανό.

Ένα από τα παρεκκλήσια αυτά αποτελεί βυζαντινό οικοδόμημα κτισμένο γύρω στο 1422. Τα τελευταία χρόνια, και συγκεκριμένα επί των ημερών του Σεβασμιωτάτου Μητροπολίτου μας, έχει αποκατασταθεί και ανακαινισθεί εκ βάθρων, με την αμέριστη φροντίδα της οικογενείας Τσούκα, αλλά και την επίβλεψη της 16ης Ε.Β.Α.

Ο βυζαντινός Ιερός Ναός των Αγίων Στυλιανού και Αλυπίου εόρτασε και πανηγύρισε τη μνήμη των Αγίων στις 26 Νοεμβρίου.

Το απόγευμα της παραμονής, τελέσθηκε Μέγας Εσπερινός χοροστατούντος του Σεβασμιωτάτου Μητροπολίτου Καστορίας κ. Σεραφείμ και τη συμμετοχή πλήθους πιστών χριστιανών.

Ανήμερα της εορτής τελέσθηκε η Θεία Λειτουργία, ιερουργούντος του Ποιμενάρχου μας και των Κληρικών του Μητροπολιτικού Ναού.