Prvi prelaz preko Velikog kanala na mestu Mosta Rialto je bio pontonski most koji je projektovao 1178, a izgradio 1181. godine Nikolo Baratijeri. Ovaj most je bio zamenjen drvenom verzijom 1255. godine, građevine sa dve simetrične pokretne rampe, koje su se mogle podići i omoguće prolaz visokim brodovima. Most je bio delimično spaljen u ustanku koji je mladi plemić Bajamonte Tiepolo poveo protiv ostarele aristokratije. Godine 1444. most se u celosti srušio pod težinom velikog broja posmatrača koji su došli da gledaju veliku povorku brodova, a prema nekim izvorima da prisustvuju povorci koja je pratila kćerku Alfonsa I, kralja Napulja markizu Ferere dok drugi izvori navode da se ipak radilo o tadašnjem caru Svetog rimskog carstva Fridrihu III.
U XVI veku se javlja ideja o izgradnji kamenog mosta koji bi zamenio drvenu konstrukciju, podložnu rušenju. Godine 1551. Venecijanski senat je organizovao konkurs za arhitektonska rešenja. Od mnogih ponuđenih rešenja arhitekata tog doba među kojima su bile slavne arhitekte poput Paladija, Sansovina, Vinjole, čak i Mikelanđela prihvaćen je nacrt arhitekte Antonija da Ponte.
Kao uzor za izgradnju Mosta Rialte iskorišćena je prethodna drvena konstrukcija pokretnog mosta. Most je napravljen od kamena, sa visinom od 7 i širinom od 28 metara. Zbog arhitektonskog rešenja jednolučnog kamenog mosta velikog raspona za ono doba, mnoge tadašnje arhitekte su tvrdile da će se most srušiti odmah nakon gradnje. Ipak, most je preživeo izgradnju i uz minimalne rekonstrukcije ostao na istom mestu vekovima.