Родился в большой купеческой семье в среднем Поволжье; в возрасте 13 лет потерял мать.
В 1905 г. Шаршун поступил в Казанское художественное училище, где, по собственному признанию, открыл для себя живопись как «область восторга». Начал писать «лирические пейзажи», которые позже, в зрелом возрасте, называл «мистическими».
От отца-купца, который категорически противился увлечению сына, Шаршун сбежал в армию, а в 1909 г. переехал в Москву, где попал в среду столичной художественной богемы, познакомился с новейшими течениями живописи — французским фовизмом, немецким экспрессионизмом — и стал их последователем. Некоторое время учился в московской мастерской И. И. Машкова, под влиянием которого написал свои ранние картины.
Большую часть жизни художник провёл во Франции. Уехав из России в 1911 г., Шаршун обосновался в Париже, на Монпарнасе, посещал академии Марии Васильевой и La Palette. Одновременно он интенсивно занимался художественным самообразованием, посещал Лувр и современные галереи искусства.
С началом Первой мировой войны художник жил в Барселоне, которая стала в 1914-1917 гг. центром европейского авангардного искусства. Там начался очень важный для его творчества период, который он сам определил как «орнаментальный кубизм». В его основе – собственный творческий метод, основанный на орнаменте, симметрии, скрытой простоте. В работах этого периода принципы витража и симметрии с её эффектом зеркального отражения совмещались с непрерывным волнообразным рисунком.
По возвращении в 1919 г. в Париж, Шаршун вступил в самое активное десятилетие своего творчества. В 1920 г. познакомился с Ф. Пикабиа, затем с Т. Тцара и Бретоном. Участвовал в групповых акциях дадаистов. В духе дадаизма, с насаждением геометрических форм написаны картины Шаршуна «Танцующая фортуна» (Берлин, 1922), «Композиция с картами» и многие другие.
Также Шаршун сотрудничал с различными журналами как художник, публицист, поэт, писатель. В это же время у Шаршуна начался период увлечения пуризмом под влиянием Озанфана, он переживает феномен натюрморта в духе Моранди, вступает в своеобразную перекличку с Пикабиа в своих «игровых» «Эластичных пейзажах». Художник открыл для себя метафизику Рудольфа Штайнера и изобрел «орнаментальный импрессионизм».
В 1930-е годы в его изобразительном творчестве начинается кризис, зато Шаршун развивает бурную литературную деятельность.
С 1943 г. наступил довольно спокойный и очень плодотворный период в работе художника. С помощью коллекционера Роже Дютийеля Шаршун арендует мастерскую, в которой будет работать до 1960 г. Происходит его знакомство с Раймоном Крезом, который в течение 20 лет будет выставлять и продавать картины Сержа Шаршуна в своей галерее. В это время художник отдается искусству полностью.
Последние 20 лет основной и едва ли не единственной темой Шаршуна являлась музыка, а также тема воды. Художник говорил: «Музыка течёт слева направо, будто читаешь книгу, или как течёт река, когда смотришь на неё с правого берега».
Шаршун провел множество персональных выставок — в Европе, США, Канаде. Венцом карьеры художника стала ретроспектива его работ, проведенная Национальным музеем Франции, Центром Помпиду в 1971 г.
В 2006 г. в в Мраморном дворце Государственного Русского музея прошла большая персональная выставка Шаршуна, тогда же в Московской галерее «Наши художники» его работы — вместе с полотнами Полякова, де Сталя, Ланского — были представлены в экспозиции «Русская абстракция во Франции середины XX века». Несколько его полотен находятся в постоянной экспозиции Государственной Третьяковской галереи.