Έως τις 3 Φεβρουαρίου του 1917, στο Μπάφαλο της Νέας Υόρκης υπήρχε μόνον μία ένωση μουσικών. Μια ένωση που δεν έκανε δεκτά ως μέλη της μαύρους μουσικούς. Αλλά εκείνη την ημέρα, μια ομάδα μαύρων μουσικών -Αφρο-αμερικανών- αποφάσισαν να φτιάξουν τη δική τους ένωση, τη Local 533. Έναν χρόνο αργότερα, μέλη της Local 533 δημιούργησαν το δικό τους κλαμπ, ένα μέρος να χαλαρώνουν, να συντρώγουν και να μπορούν οι μπάντες να κάνουν πρόβες.
Τη δεκαετία του 1930, το «Colored Musicians Club», μια ξεχωριστή οντότητα από τη Local 533, απέκτησε τη φωλιά του. Οι συνελεύσεις της ένωσης των μαύρων μουσικών γίνονταν στον πρώτον όροφο ενώ πιο πάνω τα δωμάτια γέμιζαν από τους ήχους της τζαζ. Όταν οι δύο ενώσεις μουσικών, η παλιά που δεχόταν μόνο Λευκούς και η Local 533, υποχρεώθηκαν να συγχωνευθούν, το «Colored Musicians Club» έγινε ασφαλές καταφύγιο για πολλούς μουσικούς που έχασαν τις δουλειές τους λόγω της εύνοιας της καινούργιας ένωσης προς μέλη της που ήσαν Λευκοί.
Μουσικοί με φιλοδοξίες έρχονταν εδώ για να εκλεπτύνουν την τέχνη τους δίπλα στους «μεγάλους» της περιοχής. Ευπρόσδεκτοι ήσαν όλοι, ανεξαρτήτως χρώματος. Μερικά από τα μεγαλύτερα ονόματα της αμερικανικής τζαζ σκηνής, όπως ο Ντιουκ Έλινγκτον και η Έλα Φιτζέραλντ, πέρασαν από εκεί και έπαιξαν μαζί με τοπικά ταλέντα.
Σήμερα, το «Colored Musicians Club» παραμένει δυναμικό στοιχείο της κοινότητας και είναι το πιο παλιό εν λειτουργία κλαμπ του είδους του στις ΗΠΑ. Στο ισόγειο φιλοξενείται το Colored Musician Club Museum (ανοιχτό Πέμπτη με Σάββατο, από τις 11 το πρωί ως τις 4 το απόγευμα), ένα πολυμεσικό αρχείο της ιστορίας του κλαμπ και της τζαζ. Στους πάνω ορόφους είναι που βυθίζεται κανείς στους ήχους που εξασφάλισαν στο κλαμπ θέση στην ιστορία της μουσικής.