A due chilometri dal centro abitato sorge il villaggio di San Vito, dominato dall'omonima abbazia eretta dai monaci basiliani in fuga dall'Oriente nell'Alto Medioevo. Tradizione vuole che fosse il sito della città greca Apanestae, divenuta in epoca romana punto di sosta sulla deviazione della via Traiana che da Bitonto giungeva a Egnazia, per poi ricollegarsi all'antico tracciato e arrivare a Brindisi. L'attuale complesso monumentale sarebbe sorto sulle rovine della Turris Caesaris, una costruzione romana affacciata sul porto "mariano" dal nome del console Caio Mario, passato di qua probabilmente nella sua campagna in Asia tra il II e I secolo a.C.. Nell'Alto Medioevo fu costruito ex novo l'edificio religioso volto a ospitare i monaci orientali. Quando nel 1090 le terre passarono sotto la dominazione di Goffredo, conte di Conversano, il figlio Alessandro, devoto a San Vito per la miracolosa guarigione di suo figlio, decise di arricchire l'Abbazia di San Vito. Nei secoli il villaggio prese forma con tanto di torre di avvistamento fatta erigere nel XVII secolo dai monaci per difendere l'abbazia.
Secondo la leggenda, su queste sponde vi approdò, nel'801, la nave della principessa Florenza con le reliquie del corpo di San Vito e dei suoi precettori, Modesto e Crescenza, spoglie che sarebbero rimaste custodite dalla comunità monastica basiliana, residente nelle grotte sottostanti l'attuale abbazia. Dal XIV al XVIII secolo, l'abbazia fu la dimora dei Frati Minori conventuali dei SS. Apostoli e nel 1785, diventò parte dei beni del Regio Demanio. Successivamente il monastero fu soppresso e monaci e monache espulse e nel 1866 lo Stato ha venduto tale complesso ai marchesi La Greca, attuali proprietari. Al complesso monastico è annessa una piccola chiesetta di stile romanico ben conservata, che presenta tre navate, separate da regolari pilastri.
Ancora oggi in estate, il 14 giugno, la statua del Santo Patrono, San Vito, parte in processione via mare dal villaggio di San Vito per raggiungere il centro della città, sbarcando a Cala Paura, dove i devoti la attendono. Poi portata nella piazza principale a lei il sindaco consegna in segno di devozione le chiavi della città. Quando arriva sotto la torre dell'Orologio, per essere issata sull'altare maestoso che viene costruito appositamente per lei, si aziona un meccanismo nascosto che aiuta la statua del Santo a salire lentamente la scala dell'altare.
San Vito è un martire venerato per le sue facoltà taumaturgiche e per la capacità di guarire malattie come la corea (detta "ballo di San Vito") e la rabbia. Si dice che dai frammenti del ginocchio del Santo, portati in Puglia dalla principessa Fiorenza, e custoditi prima presso l'abbazia di San Vito e poi nella Cattedrale, sgorgasse un liquido che i monaci usavano per curare i fedeli dal morso della tarantola, che li lasciava indemoniati per alcune ore, alle prese con il famoso ballo di San Vito.
Oggi la località è una meta turistica e balneare ambita, con le sue scogliere e le sue piscine naturali ad accesso libero, ed il posto turistico circondato da ristoranti e bar.
