Κοντά στην Ορεινή και δίπλα στο ποτάμι Μπάνιτσα υπήρχε και το ομώνυμο χωριό Μπάνιτσα, τώρα σώζονται μόνο τα ερείπιά του. Η πλειοψηφία των κατοίκων του χωριού αυτού είχαν «βουλγαρογραφτεί» και το χωριό τους κάηκε ολοσχερώς από τους Τούρκους (όταν αποδείχθηκε ότι φιλοξένησαν τον Γκότσε Ντέλτσεφ) στους Βαλκανικούς πολέμους.
Σύμφωνα με τοπική προφορική παράδοση, την οποία μετέφερε ο Βούλγαρος γλωσσολόγος Γιορντάν Ιβάνοφ, το χωριό καταστράφηκε από την πανώλη, ενώ στην συνέχεια χτίστηκε εκ νέου από κατοίκους προερχόμενους από τα γειτονικά χωριά. Στα τέλη του 19ου αιώνα, η Μπάνιτσα, ευρισκόμενη εντός του ευρωπαϊκού τμήματος της Οθωμανικής Αυτοκρατορίας ήταν χωριό κατοικημένο αποκλειστικά από εξαρχικούς, σύμφωνα με βουλγαρικές στατιστικές. Οι κάτοικοι του χωριού ασχολούνταν με την γεωργία και την ανθρακωρυχία. Έπειτα από την φυγή των χυτηρίων σιδήρου, οι κάτοικοι παρήγαγαν ξυλάνθρακα, τον οποίον στην συνέχεια πωλούσαν στην κοντινή πόλη των Σερρών.
Σύμφωνα με βουλγαρικά στατιστικά του 1873 και την Ethnographie des vilayets d’Andrinople, Monastir et Salonique η οποία πραγματοποιήθηκε στην Κωνσταντινούπολη, υπήρχαν στην Μπάνιτσα 101 οικογένειες και 330 εξαρχικοί κάτοικοι. Σύμφωνα με την στατιστική μελέτη του Βούλγαρου Βασίλ Καντσόφ, το 1900, υπήρχαν 840 Ορθόδοξοι Χριστιανοί, ενώ παρά την ίδρυση της Βουλγαρικής εξαρχίας ήδη από το 1870, ουδείς κάτοικος είχε προσχωρήσει σ’ αυτήν 30 χρόνια μετά. Σύμφωνα με τον Ντίμιταρ Μίσεφ, γραμματέα της εξαρχίας, το 1905 τελικά υπήρχαν 1.080 εξαρχικοί κάτοικοι.
Στην Μπάνιτσα βρήκε τον θάνατο ο Βούλγαρος επαναστάτης Γκότσε Ντέλτσεφ, ο οποίος σκοτώθηκε στην διάρκεια αψιμαχίας με οθωμανικές αστυνομικές δυνάμεις στις 4 Μαΐου 1903 και για τον οποίον ερίζουν ακόμη σήμερα η Βουλγαρία και το κράτος των Σκοπίων.
«Όπως η διαμάχη της Βουλγαρίας με τη Βόρεια Μακεδονία, που από τις… Καρυές των Σερρών έφτασε να απασχολεί την Ευρώπη και να εμποδίζει την ευρωπαϊκή προοπτική μιας χώρας, επαναφέροντας στη βαλκανική ατζέντα μεγαλοϊδεατισμούς και ζητήματα που υποτίθεται ότι είχαν επιλυθεί.
Τον Μάιο του 1903 σκοτώνεται σε συμπλοκή με τουρκικό απόσπασμα, στην τότε Μπάνιτσα (Καρυές), ο Γκότσε Ντέλτσεφ, οπλαρχηγός των ένοπλων βουλγαρικών ανταρτικών σωμάτων και εμβληματική προσωπικότητα της σλαβικής αφύπνισης εναντίον των Οθωμανών, και ενταφιάζεται στο χωριό. Τρία χρόνια μετά, οι Βούλγαροι ξέθαψαν τη σορό, που δεν είχε λιώσει, πήραν τα άκρα, τα οποία και μετέφεραν στη Σόφια όπου τα ενταφίασαν. Το 1946, με παρέμβαση του Στάλιν, ο Γκεόργκι Δημητρώφ έδωσε τα οστά στον Τίτο που τα τοποθέτησε σε τάφο στα Σκόπια, στο πλαίσιο του εγχειρήματος για τη συγκρότηση ‘μακεδονικού έθνους’, σύμφωνα με τους Βουλγάρους. Όσο υπήρχε η ενιαία Γιουγκοσλαβία, επισήμως τουλάχιστον, δεν ασχολείτο κανείς με το θέμα, μολονότι η διαφωνία για την ‘ιδιοκτησία’ του Ντέλτσεφ σοβούσε στους ιστορικούς των δύο πλευρών.
Όταν όμως το 1992 η Βουλγαρία, πρώτη αυτή, αναγνώρισε το νεόκοπο κράτος με την ονομασία ‘Δημοκρατία της Μακεδονίας’, το λείψανο του Ντέλτσεφ έκανε την εμφάνισή του. Πάνω από το μνήμα του στις Καρυές, στήθηκε μια ολόκληρη ιστορική διαμάχη και φιλοτεχνήθηκε ένα αφήγημα από εκείνα που ταλαιπώρησαν και εξακολουθούν να ταλαιπωρούν τα Βαλκάνια. Οι Βούλγαροι, που τον ήθελαν και τον θέλουν δικό τους, ανήγαγαν τον εκεί τάφο του σε τόπο προσκυνήματος και μάλιστα το 2013 ήγειραν (ανεπιτυχώς) προς την Αθήνα αίτημα ανέγερσης ανδριάντα στα ερείπια της εκεί εκκλησίας. Οι Σλαβομακεδόνες, πάλι, που θεωρούν ότι η συνείδηση του επαναστάτη ήταν ‘μακεδονική’ –μάλιστα κατηγορούν τους Βουλγάρους ότι τον ‘πρόδωσαν’ γι’ αυτόν τον λόγο στους Τούρκους ώστε να τον σκοτώσουν–, κατά καιρούς έσκαβαν στις Καρυές για να εντοπίσουν και το υπόλοιπο της σορού του!» αναφέρει -μεταξύ άλλων- σε άρθρο του στην «Καθημερινή» ο Σταύρος Τζίμας, στις 23 Νοεμβρίου 2020.
Μετά την περίοδο της οθωμανικής κατοχής, όταν καταλήφθηκε το χωριό από τον βουλγαρικό στρατό το 1912, υπήρχαν 120 οικίες στην Μπάνιτσα. Ωστόσο, κατά την διάρκεια του Β΄ Βαλκανικού Πολέμου, το 1913, πολλοί κάτοικοί του διέφυγαν στην Βουλγαρία, ενώ στη συνέχεια το χωριό πυρπολήθηκε από τον ελληνικό στρατό Συγκεκριμένα, 34 οικογένειες ζήτησαν να ρευστοποιηθεί η περιουσία τους και να προσφύγουν στην Βουλγαρία σύμφωνα με το πρόγραμμα ανταλλαγής πληθυσμών της Συνθήκης του Νεϊγύ.
Το χωριό είναι σήμερα ερειπωμένο και ακατοίκητο. Μόνον το κωδωνοστάσιο, το οποίο ανεγέρθηκε το 1883, στέκει ακόμη, καθώς και ο ανατολικός τοίχος της εκκλησίας επάνω στον οποίο επιγραφές είναι ορατές.
Τον Μάϊο του 2020, ο Βούλγαρος υπουργός Εθνικής Άμυνας Καρακατσάνοφ ζήτησε την δημιουργία μνημείου για τον κομιτατζή Γκότσε Ντέλτσεφ στις Καρυές.
(Στοιχεία από το Wikipedia.gr και φωτογραφίες από τη σελίδα Discover Serres)