Kavinsky считается одним из первопроходцев жанра синтвейв, вдохновленного музыкой и эстетикой фильмов 1980-х, в особенности фантастики и фильмов ужасов. Его музыкальные композиции и клипы повествуют о вымышленном персонаже - юноше, погибшем в автокатастрофе в 1986 году и восставшем из мертвых 20 лет спустя, чтобы творить электронную музыку.

Свой творческий путь Белорже начал после того как старый друг - музыкант и кинорежиссер Квентин Дюпье (он же Mr. Oizo) - подарил ему простейший синтезатор и ветхий компьютер с программным обеспечением. Позже он познакомил его с известным музыкантом и актером Себастьяном Теллье, благодаря которому был выпущен первый мини-альбом.

Ремикс трека Testarossa Autodrive, сделанный другом Белорже Себастьяном Акшоте, вошел в игры серий Grand Theft Auto и Gran Turismo.

В 2011 году композиция Nightcall была включена американским композитором Клиффом Мартинесом в саундтреки к фильмам "Линкольн для адвоката" и ставший впоследствии культовым "Драйв" Николаса Виндинга Рефна.

Большим успехом пользовалось выступление Белорже на церемонии закрытия Олимпийских Игр в Париже.

За 20 лет музыкант записал семь мини-альбомов и два лонгплея, также на его счету пять киноролей, две из которых он исполнил в фильмах Дюпье ("Нефильм", "Смени лицо").