Γεννήθηκε στο Μπρούκλυν, Νέα Υόρκη. Αφού σπούδασε ηθοποιία στο New York University εργάστηκε στην θεατρική σκηνή την δεκαετία του 1960. Πρώτη του παρουσία σε κινηματογραφική ταινία ήταν στο Η φυγή του Μίλος Φόρμαν το 1971. Το ταλέντο αλλά και η χαρακτηριστική του εξωτερική εμφάνιση του εξασφάλισαν ρόλους και σε άλλες ταινίες του Φόρμαν.

Το 1972 είχε την πρώτη του εμφάνιση και στην τηλεόραση (The Corner Bar). Μια από τις μεγαλύτερες του επιτυχίες ήταν ο εκκεντρικός ρόλος που ερμήνευσε στην ταινία Αόρατος Εραστής το (1990), όπου υποδυόταν το φάντασμα του μετρό. Το 1997 το περιοδικό Vanity Fair τον επέλεξε ως έναν από τους καλύτερους αμερικανούς ηθοποιούς ερμηνείας δύσκολων ρόλων. Μεταξύ άλλων πρωταγωνίστησε το 2002 και στην ταινία Σολίνο του Φατίχ Ακίν. Συνολικά ερμήνευσε μια σειρά ιδιόρρυθμων ρόλων σε περισσότερες από 120 ταινίες και τηλεοπτικές σειρές.

Ο Σκιαβέλι ήταν επίσης γνωστός και για διάφορα βιβλία μαγειρικής που έγραψε, όπως και για πολυάριθμα άρθρα σε περιοδικά μαγειρικής. Το 2001 βραβεύτηκε από την James-Beard-Foundation.

Το 1985 παντρεύτηκε την πρώτη του σύζυγο, την ηθοποιό Allyce Beasley. Το 1987 γεννήθηκε ο γιος του Αντρέα και το 1988 πήρε διαζύγιο. Στις 23 Οκτωβρίου 1992 παντρεύτηκε την Carol Sue Mukhalian, μουσικοσυνθέτης και αρπιστής του Seattle Symphony Orchestra.