1754年、丹波国篠山生まれ。
父は元丹州笹山の青山下野守家臣(後の淀城主稲葉丹後守殿の家臣)で上杉彦右衛門である。
芦雪の青年期の軌跡はほとんど空白であるが、おそらく10代半ばには修行を始めていたと思われる。
円山応挙に弟子入りした正確な年はわからないが、芦雪の現存する中で最も古い作品「東山名所図屏風」は、1778年に応挙の家で描かれたものである。
少なくとも芦雪が25歳までには応挙に入門していたことがわかる。
「東山名所図屏風」は、応挙の作品「華洛四季遊戯図巻」に近い画風で、応挙が後桃園院女御盛化門院の御所のために制作した「東山西山名所図」を模写したものかもしれない。
1784年、「回向院過去帳」に芦雪の息子が流産したことが記されており、妻帯者だったことがわかる。

1786年、無量寺の禅僧である愚海文保と共に、無量寺と草堂寺のために応挙が描いた絵を持って、南紀地方(和歌山県南部)に向かう。
愚海は応挙と長年の親交があり、愚海が寺院を建立するときは、必ず寺のために絵を描くという約束を交わしていたという。
そして年月は過ぎ、無量寺を再建することができたため、愚海は応挙との約束どおり襖絵を依頼した。
しかし、多くの弟子を抱え、宮中の御用も勤めていた多忙な応挙が長期間京都を離れることは難しく、弟子の中から芦雪が選ばれたのだった。
当時、応挙の弟子の中で最も優れた絵師の1人であったことが伺える。
応挙のもとを離れた心境の変化か、はたまた南紀の温暖な気候も性に合っていたのか、南紀にはそれまでの芦雪の作品には見られない大胆でユニークな作品が数多く残されている。

薬王山成就寺は、本堂を含め全て芦雪が襖絵を描いている。
「群雀図」は現地で描いたものではなく、南紀以前に送られたか芦雪が南紀に赴く際に持参したものだ。
その他、室中には「唐獅子図襖」、下間ニ之間には「花鳥群狗図襖」がある。
無量寺にも、「龍図襖」「虎図襖」「薔薇に鶏・猫図襖」「唐子琴棋書画図襖」「楊柳観音図」など、多数の芦雪作品が残されている。
これらの襖絵作品意外にも、現在は散逸してしまった作品があったことが、淵守礼が南紀を訪れた時の記録「南行日記 」により確認できる。
南昌山草堂寺には、「群猿図屏風」「栽松・焚経図屏風」「虎渓三笑図襖」「虎図襖」「枯木鳩図襖」「竹に鶴図襖」「牛図襖」「朝顔図襖」がある。
芦雪が高野山に立ち寄ったことは、南面山高山寺の住職である義澄が記した雑事録の「三番日含」の記述からわかる。
南面山高山寺には、「蔵前襖」「膳越屏風」「雪山之大幅」「寒山捨得図」「柳に鳥図」「朝顔の蛙図」がある。
龍雲山持宝寺には、「梅月図」が残されている。
南紀には、これまで述べた寺院以外にも、江戸時代からつづく旧家に「絵替り図屏風」や「童子・猫・雀図」など、多くの作品が伝えられている。

1788年1月に起こった天明の大火は京都市内を焼き尽くし、伊藤若冲を始めとする多くの絵師が自宅やアトリエを失い京都を離れた。
芦雪も例外では無かったのか、1789年の12月まで半年間奈良に滞在していた。
奈良でも積極的な制作を行っており、薬師寺の所蔵する「岩浪群鳥図襖」「山水図襖」「松虎図襖」など、多くの作品が残されている。
帰京後、芦雪は応挙や他の弟子たちと共に寛政御所内の襖絵の制作に取り掛かる。
芦雪が担当したのは御涼所次間だったが、その後、1790年に山本守礼が亡くなった為、上之間の襖絵に変更された。
金泥の刷かれた水墨画で「春夏花鳥」「春夏山」「亀」を描いた。

1794年、芦雪は広島に滞在していたが、呉服商富士屋と金貨質貸商の三国屋を逗留先としていた。
芦雪は広島でこの富士屋と三国屋のために「宮島八景図」「蓬莱山図」「富士越鶴図」「蹲る虎図」など、数多くの記念碑的作品を制作した。
1795年、京都に戻った芦雪は、応挙ら円山派の面々と共に兵庫県の香住大乗寺に向かい、第二期障壁画制作に取り掛かる。
応挙や他の弟子たちは本堂の各部屋を担当し、芦雪は庫裏の2階の襖と壁貼付を手掛け、「群猿図」を描いた。
同年、兵庫から京都へ戻り、画僧である曾道怡と「花鳥蟲獣図」を合作する。
道怡が竹を描いた図巻に芦雪が草花、鳥、虫、子犬を描き加えたものである。
道怡と芦雪は意気投合し、道怡が竹を描き、芦雪が石と小禽を描いた「竹石小禽図」も岡山県の蓮台寺に伝来している。

1797年、厳島神社に芦雪筆の大絵馬「山姥図」が奉納された。奉納主は広島の有力商人9名であった。
「山姥図」は「老婆の醜怪」「醜の真実」と解されるほど鬼気迫るものがあり、美術史学者の辻惟雄は「悽愴かつグロテスク」と評した。
「山姥図」は晩年の芦雪の作品に現れる怪奇的でグロテスクな傾向の作品の代表作である。
晩年の芦雪の作風は、「宮島八景図」のような叙情的な作風の一方で、怪奇的な表現への志向が見て取れる。
なぜそのような二面性を発揮するようになったのか、芦雪の内面を追求し、理解する為の材料はいまだ揃わず、解明には至っていない。

1799年、芦雪は大坂にて死去した。
困窮のために首を吊ったとか、毒殺されたといった噂が広まったが、真相は不明である。