Al-Hajj Sayyd Abdul Al-Khabyyr étudia la clarinette et le saxophone à New York avec Cecil Scott, entre autres. Le tromboniste Snub Mosley et lui partirent pour Montréal en 1954. Il y travailla avec Al Cowans (1954-55) puis forma son propre groupe et se produisit dans des cabarets. Il fit partie (1957-70) de plusieurs formations à Ottawa : le Canadian Jazz Quartet (avec Richard Wyands, piano, Wyatt Ruther, contrebasse, et Doug Johnston, batterie), l'Ottawa Saxophone Quartet et des orchestres de studio ou de danse, dirigés par Champ Champagne, Buster Monroe et d'autres. Il dirigea son propre orchestre au Gatineau Country Club (1959-63, 1963-65).

En 1970, il revint à Montréal où il enseigna à l'Université de Montréal.(1970-80). Parmi ses élèves se trouvaient la flûtiste Jennifer Waring, le trompettiste Chris Place et la saxophoniste Mary-Jo Rudolf. Durant cette période, Abdul Al-Khabyyr joua de temps à autre avec des formations de musique contemporaine (dont l'Ensemble de la SMCQ, l'Infonie de Walter Boudreau, le duo Dionne-Brégent, le TRIO 3) et travailla avec des orchestres de studio et de théâtre; on pouvait l'entendre jouer du jazz dans son club, le Café Mo-Jo (1971-78), d'abord avec le percussionniste Dido, puis avec ses fils Ameen (flûte, percussion), Nasyr (percussion), Muhammad (trombone) et Zayd (piano).

Ayant partagé ses activités entre Montréal et New York durant les années 1980, il finit par s'installer aux États-Unis. Il fit partie du Mercer Ellington Orchestra (1980-82 et à partir de 1987); il effectua des tournées internationales avec Dizzy Gillepsie (1983-87). Il a également enregistré ou joué à New York avec les Savoy Sultans, Illinois Jacquet, l'Afro-Asian Jazz Ensemble et la Charli Persip Superband. Durant les années 1980, en compagnie de ses fils et d'autres musiciens, Abdul Al-Khabyyr participa plusieurs fois au FIJM; l'on put y apprécier sa polyvalence instrumentale et l'ampleur de son style. Sous une forme bebop, sa musique est souvent de nature religieuse.

Ses fils ​Nasyr Abdul Al-Khabyyr​ et ​Muhammad Abdul Al-Khabyyr​ ont suivi ses traces musicales.