Naziv Svirče - prema legendi - nastao je od toga, što se jedna skupina pastira odvojila od matice u Vrbanju, pa se, uz demonstrativnu svirku, naselila u predjelu današnjih Svirača. U svojim "Zapisima o zavičaju" Niko Duboković smatra, da bi porijeklo naziva Svirče trebalo radije tražiti u hidrografskim svojstvima predjela, u kojemu ima više izvora. Naziv bi, po mišljenju toga pisca, mogao značiti nešto kao "vir voda". Na otoku postoje lokaliteti Vir i uvala Vira (nekada zimsko pojilište za stoku), pa bi "svir" mogao biti u vezi sa "vir".