Το 1922 εγκαταστάθηκε στο Σικάγο, έπειτα από πρόσκληση του Κινγκ Όλιβερ να συμμετάσχει στην ορχήστρα του (Creole Jazz Band). Από τις αρχές της δεκαετίας του 1920, το Σικάγο αποτελούσε το κυρίαρχο κέντρο της τζαζ και η ορχήστρα του Όλιβερ ήταν μία από τις σημαντικότερες. Ο Άρμστρονγκ συμμετείχε για πρώτη φορά σε ηχογραφήσεις, ως δεύτερος κορνετίστας, το 1923. Αν και η συνεργασία του με τον Όλιβερ ήταν αρμονική, μετά από παρότρυνση της πιανίστριας και σύζυγου του, Λιλ Χάρντιν Άρμστρονγκ, εγκαταστάθηκε το 1924 στη Νέα Υόρκη και συμμετείχε στην ορχήστρα του Φλέτσερ Χέντερσον, για τις ανάγκες της οποίας άρχισε να παίζει τρομπέτα. Τον επόμενο χρόνο επέστρεψε στο Σικάγο όπου ξεκίνησε να ηχογραφεί ως ηγέτης των συγκροτημάτων Hot Five και Hot Seven, σημειώνοντας επιτυχίες, όπως τα κομμάτια Potato Head Blues, Muggles (όρος αργκό για την μαριχουάνα, της οποίας ήταν χρήστης ο Άρμστρονγκ) και West End Blues (σύνθεση του Κινγκ Όλιβερ). Η εισαγωγή του Άρμστρονγκ στο West End Blues, παραμένει ως σήμερα ένας από τα διασημότερους αυτοσχεδιασμούς στην ιστορία της τζαζ.

Το 1929 επέστρεψε στη Νέα Υόρκη και τον επόμενο χρόνο εγκαταστάθηκε στο Λος Άντζελες πριν ξεκινήσει να περιοδεύει στην Ευρώπη. Έχοντας αναλώσει αρκετά χρόνια περιοδεύοντας, εγκαταστάθηκε μόνιμα στο Κουίνς της Νέας Υόρκης, το 1943 συνεχίζοντας να εξελίσσει το παίξιμό του. Για τα επόμενα τριάντα χρόνια, ο Άρμστρονγκ έδινε περισσότερες από 300 συναυλίες το χρόνο, αν και κατά τη διάρκεια της δεκαετίας του 1940, οι μεγάλες ορχήστρες σταδιακά εγκαταλείφθηκαν, λόγω του οικονομικού κόστους συντήρησής τους και του μειωμένου ενδιαφέροντος του κοινού για αυτές.

Στα πρώτα στάδια της εξέλιξής του, ο Άρμστρονγκ διακρίθηκε ως βιρτουόζος του κορνέτου και της τρομπέτας. Οι πιο σημαντικές από τις πρώτες του ηχογραφήσεις αναδείχθηκαν μέσα από τα μουσικά σχήματα των Hot Five και Hot Seven και οι αυτοσχεδιασμοί του Άρμστρονγκ σε αυτές, αποτελούν μέχρι σήμερα σημείο αναφοράς για την μελωδικότητά, τις καινοτομίες και τον εκλεπτυσμό τους. Είχε επίσης σημαντική συνεισφορά στην ανάδειξη του ρόλου τού σολίστα, συμβάλλοντας στην μετατροπή του είδους της τζαζ, από μία συλλογική κατά βάση μουσική, σε μία μορφή τέχνης με μεγάλα περιθώρια αυτόνομης έκφρασης του μουσικού.

Στην πορεία των χρόνων, ο Άρμστρονγκ ενδιαφέρθηκε έντονα και για το τραγούδι. Αν και δεν ήταν ο πρώτος που το χρησιμοποίησε, ανέδειξε σε μεγάλο βαθμό και κατέστησε δημοφιλές, το αποκαλούμενο σκατ τραγούδι (scat singing), δηλαδή τραγούδι χωρίς λόγια, με άναρθρους φθόγγους, το οποίο και ενσωμάτωσε στο ρεπερτόριό του.

Κατά τη διάρκεια της μουσικής του σταδιοδρομίας, συνεργάστηκε είτε ως τραγουδιστής είτε ως τρομπετίστας, με μερικούς από τους σημαντικότερους μουσικούς της τζαζ, μεταξύ αυτών ο Ντιούκ Έλινγκτον, η Έλλα Φιτζέραλντ, οΜπινγκ Κρόσμπι, ο Φλέτσερ Χέντερσον και η Μπέσι Σμιθ. Με την Έλλα Φιτζέραλντ ηχογράφησε συνολικά τρεις δίσκους: Ella and Louis, Ella and Louis Again και Porgy and Bess. Οι τελευταίες σημαντικές του ηχογραφήσεις καταγράφονται στη δεκαετία του 1950 ενώ το μεγαλύτερο μέρος της ύστερης δισκογραφίας του χαρακτηρίζεται συνήθως από τους κριτικούς ως υπεραπλουστευτικό ή τυποποιημένο, αν και δεν του στέρησε την εμπορική απήχηση.