Το πρώτο του επάγγελμα ήταν γαλατάς στο Εδιμβούργο. Ακολούθως κατατάχθηκε στο Βασιλικό Ναυτικό, αλλά απολύθηκε λόγω προβλημάτων υγείας και επέστρεψε στην παλιά του δουλειά κάνοντας διάφορες εργασίες όπως οδηγός λεωφορείου, εργάτης, μοντέλο για το κολέγιο Καλών Τεχνών του Εδιμβούργου, στιλβωτής φέρετρων και μπόντι μπίλντερ.
Κατέχει πληθώρα βραβείων και διακρίσεων, ανάμεσά τους Όσκαρ από την Αμερικανική Ακαδημία Κινηματογραφικών Τεχνών και Επιστημών, Χρυσή Σφαίρα και BAFTA. Το 1987 κέρδισε το Όσκαρ Β’ Ανδρικού ρόλου στην ταινία Οι Αδιάφθοροι (The Untouchables). Τον Ιούλιο του 2000 χρίστηκε ιππότης από τη βασίλισσα Ελισάβετ Β’.
Ο εντυπωσιακός αλλά και αεικίνητος, «αεράτος», ηθοποιός πρωτοανακαλύφθηκε από τους Χάρι Σάλτζμαν και Άλμπερτ Μπρόκολι, μετά την άρνηση άλλων υποψήφιων ηθοποιών για το ρόλο του Μποντ, μεταξύ των οποίων ο Ντέιβιντ Νίβεν (ο οποίος αργότερα έπαιξε τον Μποντ στην παρωδία του 1967 Casino Royale), ο Κάρι Γκραντ και ο Τζέιμς Μέισον. Ο χαμηλός προϋπολογισμός ανάγκασε τους παραγωγούς να προσλάβουν έναν άγνωστο ηθοποιό.
Η εντυπωσιακή άνοδος του Κόνερι έγινε με τον ρόλο του μυστικού πράκτορα Τζέιμς Μποντ. Συνολικά πήρε μέρος σε επτά ταινίες Μποντ. Οι έξι ήταν παραγωγής της EON και μία ήταν ανεπίσημη αναπαραγωγή του Thunderball από την Warner Bros.