Jeune, Oliver Jones étudie le piano avec Daisy Sweeney, la sœur d'Oscar Peterson, et passe une bonne partie de sa carrière à travailler dans des spectacles de musique populaire et de variétés. De 1964 à 1980, il vit à Puerto Rico, où il se produit avec le chanteur Kenny Hamilton. De retour à Montréal, il se consacre entièrement au jazz et, en 1987, il est connu à l'étranger dès le premier d'une série de concerts qu'il donne en Europe, en Australie et aux États-Unis. Les critiques vantent sa dextérité technique et son swing exubérant, et le comparent souvent à Peterson.

Il voyage beaucoup, parfois sous l'égide du gouvernement canadien, jusqu'en 1994. Lors d'une tournée en Afrique, l'Office national du film tourne le documentaire Oliver Jones in Africa (1989). De 1982 jusqu'à sa retraite partielle de la musique en 1999, il enregistre plus de 15 disques vinyles longue durée et disques compacts, notamment Lights of Burgundy, Cookin' At Sweet Basil (enregistré à la boîte de nuit Sweet Basil de New York), le solo au piano Just 88 et From Lush to Lively (avec un big band et un orchestre à cordes, 2006). Une fois à la retraite, il enregistre d'autres disques, dont Just You, Just Me (avec Ranee Lee, 2005), One More Time (avec Dave Young et Jim Doxas, 2006) et Serenade (DVD, 2006).

Jones remporte des Félix (remis par l'ADISQ, l'Association du disque et de l'industrie du spectacle québécois) en 1989, en 1994, en 2007 et en 2008 ainsi que des Prix Juno en 1986, en 1990, en 2006 et en 2009. Son plus récent album, Pleased to Meet You, est en nomination pour un prix Juno en 2010, et c'est en février 2013 qu'à l'occasion du mois célébrant l'histoire des Noirs au Canada, Poste Canada frappait un timbre à son effigie.

Jones est nommé Officier de l'Ordre du Canada en 1994.