Latinski naziv žalosne vrbe Salix babylonica potiče iz drevne legende. Po toj legendi su Jevreji, pošto su pali u vavilonsko ropstvo, zbog velikog bola i tuge za svojom izgubljenom domovinom, obesili svoje harfe na vrbu.
Veruje se da je prva žalosna vrba rasla u drevnom Vavilonu. Ona je negativno povezana sa smrću Aleksandra Velikog, jer su njene grane odnele njegovu krunu s glave dok je prolazio pored nje.
Zbog svojih tužno položenih grana stari Grci su žalosnu vrbu povezivali sa svetom mrtvih i bogovima Podzemlja. Žena boga podzemlja Hada Persefona je ponekad prikazivana sa hrpom vrbovih grana u ruci. Najslavniji starogrčki pesnik Orfej nosio je grančice žalosne vrbe na svom putu kroz Podzemlje. Grčka čarobnica Kirka postavila je uz reku groblje sa žalosnim vrbama, posvećeno majci boginji Hekati i njenoj mesečevoj magiji. Stari Grci su verovali da će duh mrtvih ustati kroz drvo žalosne vrbe i zato su ih sadili na grobovima, a vrbove vence stavljali na glave tokom sahrane kao znak duboke tuge.
Prema hrišćanstvu, žalosna vrba ima značenje čednosti i čistote, a s obzirom na držanje simbolizovala je ispravan stav pred Bogom, klečeći i sa strahopoštovanjem. U drevnim vremenima nastalo je verovanje da je žalosna vrba spustila svoje grane da bi zaštitila i sakrila Bogorodicu kada je pred progoniocima bežala sa Isusom Hristom.
Simbol žalosne vrbe je čest u azijskoj kulturi. U zemlji porekla Kini, simbolizuje vitalnost i preporod. Za Japance je bila simbol krotkosti i istovremeno strpljenja i upornosti, jer čak ni teško vreme ne može slomiti fleksibilne grane njenog stabla.
Žalosna vrba se često povezuje sa smrću. Njene rezbarije su postale vrlo raširene na nadgrobnim spomenicima početkom XIX veka. U mnogim kulturama žalosna vrba je znak besmrtnosti, a povezana je sa mesecom, vodom i ženstvenošću. Zato što obično raste u blizini vodenih površina i vlažnih mesta, često je povezana sa temama poput magije i meseca jer se voda kreće pod uticajem meseca.
