Xavier Phillips begann im Alter von sechs Jahren mit dem Cellospiel. Er gewann mehrere internationale Preise, dann war seine Begegnung mit Mstislav Rostropovitch entscheidend und der Beginn einer langen Zusammenarbeit.

Xavier Phillips wurde bald eingeladen, auf den größten internationalen Bühnen mit renommierten Orchestern aufzutreten: New-York Philharmonic, Washington National Symphony Orchestra, Mariinsky Orchestra, Chicago Symphony Orchestra, Orchestre de la Suisse Romande, Orchestra Filarmonica della Scala, Orchestre de Paris, Orchestre National de France, Orchestre Philharmonique de Radio France, Berliner Symphoniker, Rundfunk Sinfonieorchester Berlin, Seattle Symphony Orchestra etc. Er wurde von berühmten Dirigenten wie seinem Mentor Mstislav Rostropovitch, aber auch von Riccardo Muti, Valery Gergiev, Christoph Eschenbach, James Conlon, Marek Janowski, Vladimir Fedosseyev, Ion Marin, Jesus Lopez-Cobos, Vladimir Spivakov, Kurt Masur... dirigiert.

Xavier hat auch einen besonderen Platz in der Kammermusik, die er gerne mit Künstlern wie Schlomo Mintz, François-Frédéric Guy, Tedi Papavrami, Jean-Marc Phillips-Varjabédian, David Grimal, Cédric Tiberghien, Emmanuel Strosser und Igor Tchetuev teilt.

Er ist unter anderem Gast der Wigmore Hall, des Arsenal in Metz, des Mariinsky-Theaters, des Théâtre des Champs Elysées, der Philharmonie de Paris, der Victoria Hall in Genf und renommierter Festivals wie dem Kings Place Cello Festival in London, dem Printemps des Arts in Monte Carlo, dem Festival Berlioz de la Côte Saint-André sowie dem Festival de Pâques in Aix-en-Provence.

In der Saison 2022/23 geht Xavier Phillips mit Haydns 2. Klavierkonzert mit dem Orchester Biel Solothurn auf Tournee durch Deutschland und die Schweiz. Im Arsenal de Metz wird er in Schostakowitschs Cellokonzert Nr. 2 auftreten sowie in der Philharmonie de Paris, im Arsenal de Metz, im Théâtre des Champs Elysées und beim Cellofestival in Beauvais.

2015 erschien seine Gesamtaufnahme von Beethovens Musik für Violoncello und Klavier mit dem Pianisten François-Frédéric Guy (Aparté/Evidence). Das Album erhielt begeisterte Kritiken von den renommiertesten internationalen Magazinen, darunter Gramophone "Editors Choice" und The Strad "Recommends". Das Gramophone-Magazin nahm die Aufnahme in seine Auswahl der "50 schönsten Beethoven-Aufnahmen der Diskografie" auf. Die neueste Aufnahme ist den 6 Duetten für zwei Celli von Jacques Offenbach (La Dolce Volta) gewidmet, die er mit seiner Partnerin Anne Gastinel aufgenommen hat; auch dieses Album wurde von der Presse ausgezeichnet.

Im Herbst 2023 erscheint ein Album, das ganz der Welt von Gabriel Fauré gewidmet ist, mit dem Pianisten Cédric Tiberghien (La Dolce Volta).

Seine CDs mit Orchester sind dem 1. Konzert von Schostakowitsch mit Les Dissonances und dem Cellokonzert "Tout un monde lointain" von Henri Dutilleux mit dem Seattle Symphony Orchestra (Dir. Ludovic Morlot) gewidmet. Die Aufnahme wurde dreimal für die Grammy Awards 2015 nominiert, bei denen Xavier Phillips seinerseits als "Best Instrumental Solo" nominiert wurde.

Xavier Phillips hat seit 2013 eine Professur an der Haute Ecole de Musique de Sion, Standort Lausanne inne.

Er spielt ein Violoncello von Matteo Gofriller aus dem Jahr 1710.