教堂初建于十三世纪,并于1646年开始重建。奥地利女皇安妮是重建工程的发起者，整个重建工程持续了130多年，很多著名的建筑师相继为重建做出了贡献（加马尔，路易得福，吉塔尔等）。重建工程由于资金问题在1678年到1718年之间中断。古典式的正门由建筑师塞万多尼设计，但是它始终没有完工。
同样没有完工的还有1749年建造的南楼（由Oudot de Maclaurin设计）。 相反于南楼，北楼由建筑师夏尔格兰设计，并多次翻修，最终成为了巴黎最著名的灯塔之一。圣叙尔比斯教堂是小说《达芬奇密码》故事发生的场景之一，小说中虚构说巴黎中心线穿过教堂，也因这部小说为圣叙尔比斯教堂带来了更多的参观者。但最后根据小说所拍摄的电影《达芬奇密码》却没有被获准在此取景拍摄。
教堂的正门对面就是圣叙尔比斯广场，建造于1754年。广场上有个建于1844年的喷泉。喷泉四角的四个雕塑分别用来纪念路易十四时期的四位主教。在当地，这个喷泉也别称为四枢机喷泉，因这四位主教最终都没能成为枢机(Cardinal)，唯有以此表达遗憾之意。