На гравюрі-панегірику на честь засновника Шаргорода (1617) замок має п`ять бастіонів. У 1656 році в Шаргороді побував і залишив про нього спогади відомий турецький мандрівник того часу Евлія Челебі. Згідно Челебі, шаргородський замок розташовувався на пагорбі над річкою і мав цитадель з п`ятьма баштами. В арсеналі укріплення була дальнобійна артилерія.
Магдебурзьке право Шаргород отримав 26 січня 1588 року від польського короля Сигізмунда III. Та містом поселення назвати було важко: місцина нехай і вигідна з точки зору торгівлі, але вкрай небезпечна з точки зору доступності для всіляких зайд, як зі сходу, так і своїх, власних. Замок - гарно звучить, але... З висоти сусідніх з замком пагорбів, так званих Мурафської та Могилевської гір, фортеця була як на долоні. Тож чи дивуватися, що у 1595 році Шаргород зруйнували козаки С.Наливайка, а весь місцевий гарнізон банально втік? В часи Хмельниччини в Шаргороді було ще кілька сутичок та битв. В серпні 1648 року фортецю взяли загони полковника М.Кривоноса, у березні 1649р. козаки все ще тримали Шаргород і навіть спромоглися відбити штурм польської армії.
За умовами Зборівського миру 1649 року кордон між королівськими землями і козацькою територією проходив поблизу Шаргорода. На прикордонні часто буває гаряче. Під час весняного рейду 1651 року польного гетьмана Мартина Калиновського козаки змушені були відступити. Шаргород знову став польським. А ще через два десятиліття над Поділлям прогуркотло цунамі турецьке нашестя. Як і більшість інших міст краю, в 1672-1699 рр. Шаргород належав до Османської Порти. Кажуть, туркам тут подобалося: вони навіть назвали містечко Кучук-Стамбул (Маленьким Стамбулом). Наприкінці XVII століття між Кам`янцем і Шаргородом ходили торгові каравани. Турки гарячково відновлювали укріплення Кам'янця, а от Шаргороду так не пощастило. Замок занепадав. Після того, як в 1699 р. Брацлавщина знову відійшла до Речі Посполитої, твердиню навіть спробували відбудовувати, хоча ніякої стратегічної цінності вона вже не мала. Певні відновлення проводились навіть в середині XIX століття. Зараз від шаргородського замку лишився мізер: подекуди можна віднайти мури, зміцнені контрфорсами, а єдина вціліла башта сильно перебудована і мало вражає.
Проте вразити можуть інші споруди містечка. Одну з найкращих єврейських пам’яток Поділля — шаргородську синагогу зального типу - збудовано 1589 р. До божниці прибудовані приміщення для жінок і школа.
Міцні товстезні стіни прямокутної в плані будівлі увінчані фігурним аттиком з кутовими башточками. У товщі стін ховаються сходи на дах споруди. Ошатності божниці надають невеликі лучкові вікна з витонченими профілями. У часи турецького панування на Поділлі (1672—1699) синагогу перетворили на мечеть. У XVIII ст. з’явився другий поверх західної прибудови і декоративна ліпнина, фрагменти якої можна побачити і в наш час. У 1930 р. синагогу закрили, відтоді в ній діє сокоморсовий завод. Останнім часом з’явилися плани влаштувати у Шаргородській синагозі музей сучасного мистецтва.