Ο Ξηροπόταμος είναι χτισμένος αμφιθεατρικά στους πρόποδες του όρους Φαλακρό, σε απόσταση περίπου 7 χιλιομέτρων από την πόλη της Δράμας, και σε υψόμετρο 260 μέτρων.
Παραδοσιακά οι κάτοικοι του ασχολούνταν με την γεωργία και ειδικότερα με την παραγωγή καπνού και την κτηνοτροφία. Σήμερα κύρια πηγή εισοδήματος για το χωριό είναι τα λατομεία και τα εργοστάσια κοπής και επεξεργασίας μαρμάρου.
Στα ανατολικά του χωριού δεσπόζει ο πευκόφυτος λόφος του Προφήτη Ηλία. Ανατολικά του υψώματος σε βραχώδη περιοχή βρίσκεται προϊστορικός οικισμός, ο οποίος ανήκει στη Νεολιθική εποχή και στην ύστερη εποχή του Χαλκού όπως αποδεικνύεται από τα ευρήματά του.
Στην κορυφή λόφου ανατολικότερα, ανάμεσα Ξηροπόταμο με Μοναστηράκι, με το όνομα "Ύψωμα Μαυρουδή" (Καλελίκ) και με 582 μέτρα υψόμετρο, υπάρχει οχυρωματική θέση (κάστρο) Ρωμαϊκής εποχής, ενώ λίγο χαμηλότερα στο διάσελο του λόφου εντοπίστηκε ένα τμήμα από υδραγωγείο το οποίο αποδίδεται κι αυτό στους Ρωμαϊκούς χρόνους. Στα δυτικά βρίσκεται το φαράγγι του Ξηροποτάμου γνωστό ως Λάκκος, όπου βρίσκεται και η πανέμορφη, πετρόκτιστη γέφυρα.
Στον Ξηροπόταμο αναβιώνουν αρχέγονα έθιμα του Δωδεκαημέρου στις 6 και 7 Ιανουαρίου. Ξακουστό είναι και το φεστιβάλ παραδοσιακών χορών το πρώτο Σαββατοκύριακο του Αυγούστου.