Οι τέσσερις πρόεδροι είναι, από αριστερά προς τα δεξιά: ο Τζωρτζ Ουάσινγκτον, ο Τόμας Τζέφερσον, ο Θεόδωρος Ρούζβελτ και ο Αβραάμ Λίνκολν. Η ιδέα για την κατασκευή του μνημείου αποδίδεται στον ιστορικό Ντόαν Ρόμπινσον. Το μνημείο επισκέπτονται κάθε χρόνο δύο εκατομμύρια άνθρωποι.
Οι Ινδιάνοι Λακότα, για τους οποίους το βουνό ήταν τόπος ιερός καθώς από εκεί είχε περάσει, κατά τη διάρκεια ενός πνευματικού ταξιδιού που κατέληξε στο Harney Peak, ο ηγέτης τους Black Elk, είχαν δώσει στο όρος Ράσμορ το όνομα Six Grandfathers. Οι Η.Π.Α απέκτησαν τον έλεγχο της περιοχής μετά τις συγκρούσεις με τους Ινδιάνους τη διετία 1876-77. Οι λευκοί άποικοι στην περιοχή έδωσαν στο βουνό διάφορα άλλα ονόματα: Όρος Cougar, Όρος Sugarloaf, Όρος Slaughterhouse και Keystone Cliffs. Το 1885 το όρος Ράσμορ πήρε το σημερινό όνομα του από έναν νεοϋορκέζο δικηγόρο, τον Τσαρλς Ράσμορ, στη διάρκεια μιας αποστολής στην περιοχή. Το United States Board of Geographic Names επισήμως δέχθηκε την ονομασία αυτή το 1930.
Ο Ντόαν Ρόμπινσον αρχικά είχε προτείνει την περιοχή Needles για την κατασκευή του μνημείου αλλά ο γλύπτης Gutzon Borglum επέλεξε το όρος Ράσμορ για διάφορους λόγους. Πρώτον ήταν το ψηλότερο βουνό στην περιοχή (1.745 μ.). Δεύτερον ο γρανίτης στο Ράσμορ είναι πιο λείος και ανθεκτικός και διαβρώνεται μόλις μια ίντσα (25 χιλ.) κάθε 10.000 χρόνια. Τέλος επειδή το βουνό βλέπει νοτιοανατολικά οι εργάτες είχαν περισσότερο φως για να δουλέψουν.