Japanski stil uređenja vrta ne uključuje mnogo biljaka. Dobar izbor naglašava zimzelene biljke u raznim oblicima, veličinama i teksturama listova. Zato se sade paprat, ukrasne trave i lisnodekorativne perene, kao što su hosta ili bergenija. Za zimzelenu pozadinu može se zasaditi bambus, a u središtu drveće koje simboliše čvrstinu i snagu, kao što su tisa, bor, japanski javor ili japanski ileks. U proleće se mogu oblikovati u niske cvetne pejzaže japanska trešnja, kamelije ili japanske azaleje. U leto su interesantni irisi, tradeskancije, liriope i japanske anemone. U ribnjak može da se stavi lotosov cvet, a dve ili tri mahovine su zanimljivi zeleni ukrasi.
Voda deluje smirujuće i zastupljena je u japanskim vrtovima u različitim oblicima. Jezerca i potoci su osnovne vodene površine i često sadrže zanimljiv biljni i životinjski svet. Takođe, mogu da budu zanimljivi i mali vodoskoci ili kamene fontane.
Pošto za Japance kamen ima svest i duh, za dekorisanje u japanskom vrtu se koristi kamenje, oblutci i šljunak. Kamenje se bira srazmerno veličini vrta, a prednost se daje neobičnom. Da bi doneli unutrašnji mir tradicionalno se koristi nekoliko većih okruglih, glatkih kamena, a hrapavi i oštri kameni nalik na minijaturni planinski vrh su često središnja tema vrta.
Staze u japanskom vrtu od prirodnog kamena ili šljunka mogu da budu krivudave, delimično na svetlosti, a delimično u senci.
