Fellowes selbst diente in der Armee und heiratete 1978 Lady Jane Spencer, die älteste Schwester von Prinzessin Diana. Bei der Hochzeit war Lady Di ihre Brautjungfer. Das Paar hat drei Kinder: Laura, Alexander Robert und Eleanor Ruth Fellowes. Laura ist zudem die Patin von Prinzessin Charlotte.
Robert Fellowes arbeitete von 1990 bis 1999 als persönlicher Sekretär für Queen Elizabeth II. und stand ihr in dem berüchtigten Jahr 1992, dem "annus horribilis", zur Seite. In diesem Jahr trennten sich Prinz Andrew und Sarah Ferguson, Prinz Charles und Prinzessin Diana, und Prinzessin Anne ließ sich scheiden. Zudem brach ein Feuer in Balmoral aus, und die Royals wurden von negativen Schlagzeilen heimgesucht. Fellowes spielte auch nach dem tragischen Tod von Prinzessin Diana 1997 eine wichtige Rolle, indem er den ersten Entwurf für die legendäre Rede der Königin schrieb und sie überzeugte, von Balmoral nach London zu reisen.
Es gab Spekulationen über Fellowes' mögliche Verwicklung in Dianas Tod, die er 2008 in einer Anhörung zurückwies. 1999 wurde er von Queen Elizabeth II. in der Queen's Birthday Honours List zum Peer auf Lebenszeit ernannt und trug seitdem den Titel Baron Fellowes of Shotesham in der Grafschaft Norfolk. Prinz William und Prinz Harry haben somit einen weiteren wichtigen Menschen in ihrem Leben verloren.