Un premier pont fut construit en 1160 par Hugues II d’Amboise, fils de Sulpice 1er, sur l'ordre de Henri II Plantagenêt, roi d'Angleterre, au moment des conflits qui agitèrent le royaume pour faciliter le mouvement des troupes vers le Sud.
Il a certainement été élevé, comme c’est souvent le cas, à l’emplacement d’un ancien gué sur le Cher.
Ce pont fut construit avec des pierres tirées en partie du bois Ragueneau.
Au milieu du pont s'élevait une tour-porte fortifiée qui surveillait le passage. Une autre tour plus petite se trouvait à l'entrée Nord, paroisse de La Croix ; dite tour Bacane (disparue) ainsi que d'une seconde tour approximativement équidistante des deux communes, qui servait de péage et de prison. Un pont-levis y était aménagé.
Ce pont médiéval se situait dans l'axe de la rue du Pont et non comme le pont actuel, dans celui de la rue des Déportés, ex rue des Fossés.
Ce pont avait 15 arches et mesurait près de 229 mètres. Ses extrémités étaient plus basses que le centre, les voituriers arrivant d'un côté et de l'autre ne pouvaient se voir. ni se croiser, ce qui entraînait fréquemment incidents et accidents.
Des modifications nombreuses furent apportées au pont au cours des siècles. En 1449, ses fortifications avaient été reconstruites et servaient de moyen de défense à la ville, avec une tour d'entrée côté La Croix-en-Touraine dite tour Bacane, avec pont-levis et une seconde tour au centre qui servait de péage et de prison. Un moulin a remplacé la tour-porte. On peut voir aux basses eaux, les infrastructures des piles et surtout l'emplacement d'un moulin qui remplaça la tour, moulin banal qui travaillait encore en 1850. Certaines arches ont un profil roman, d'autres gothiques et leur largeur est variable. Ce pont a souffert des outrages du temps, surtout des violentes crues.
Entre 1434 et 1450, les fortifications de la ville, auxquelles le pont est intégré, sont reconstruites. Le pont mentionné au XVIIIème siècle comme "ayant toujours été sur l'état des ponts et chaussées et sur la grande route d'Espagne".
Les péages sont mentionnés dans les actes essentiellement à l'occasion des conflits qu'ils suscitent, ou des exemptions dont ils font l'objet. Une exemption totale, comme celle qui accompagne la construction du pont de Tours par le comte Eudes de Blois en 1034-1037, est exceptionnelle. Le plus souvent, les exemptions sont partielles : elles sont accordées à un établissement religieux particulier, parfois même pour un produit spécifié : le comte Geoffroi Martel accorda ainsi à l'abbaye de Marmoutier vers 1060 une dispense de tonlieu pour un chaland chargé de sel sur la Loire de Nantes à Tours. Les produits destinés au commerce étaient très fréquemment exclus de ces exemptions. En 1189, le seigneur de L'île-Bouchard, sur la Vienne, accorda à l'abbaye de Cormery une exemption de péage pour les biens qui transitaient par sa seigneurie, mais uniquement ceux destinés à nourrir et vêtir les religieux.
Pour lutter contre la prolifération des péages, les mariniers de la Loire constituèrent une association, la « communauté des marchands fréquentant la rivière de Loire et fleuves descendant en icelle », qui est attestée à partir du milieu du XIVème siècle et qui fédérait les corporations établies dans les villes sur le cours du fleuve et de ses affluents navigables. Ses représentants conduisaient des négociations avec les seigneurs riverains et le pouvoir royal pour freiner la multiplication des lieux de perception. En dépit des lettres-patentes délivrées par le roi pour limiter le nombre des péages, les documents de la fin du Moyen Âge montrent qu'ils étaient encore nombreux à cette époque : si quelques-uns semblent avoir alors disparu, de nouveaux péages sont attestés sur la Loire à Pocé, Rochecorbon et Saint-Michel-sur-Loire ; sur le Cher à Savonnières, Bléré et Azay-sur-Cher.