Замок тут побудував Домінік Войцех Бієневський, галицький підчаший, в середині XVII ст, вже по закінченню національно-визвольної війни. Будівництво завершене було в 1660 р. Вхід до фортеці був через двоповерхову браму з напівкруглими склепіннями, до якої через виритий рів був перекинутий міст. В західній частині замку були житлові приміщення, а на північному сході розміщувалась каплиця. Посередині східної замкової стіни височіла 6-кутна башта з глибокими пивницями. Від неї до донжона вела аркова галерея.
О.Чоловський відзначає наявність на надбрамній башті слідів звідного мосту, величезних пивниць біля шестикутної вежі, а також природного джерела на замковому подвір'ї. Не виключено, що саме джерело (воно й тепер є в північному куточку замкового двору) стало вирішальним чинником у виборі місця для замку, а вигоди, пов'язані з постачанням питної води, переважили вади, що їх мав майданчик. Захищати ділянку, над якою височів крутосхил, було важко: з горішньої тераси обстрілювався весь замковий двір. Це значно послаблювало оборонні якості споруди. І хоч Б.Ґеркен зауважує, що теоретик артилерійської справи Дієго Уффано обґрунтовує переваги, пов'язані з розміщенням гармат нижче від об'єктів обстрілу, нам здається, що ця обставина щонайменше вплинула на вибір місця для замку.
Своєрідна й не менш архаїчна типологія стрільниць Раковецького замку. Стрільниці шестикутної вежі розміщені за дуже рідкісною системою, що давала змогу воякові, майже не змінюючи місця, вести обстріл у різних напрямках. В інтер'єрі вежі стрільниці в межах одного бойового ярусу розміщувалися двома рівнолеглими рядами, один над одним, але з невеликим зміщенням квадратових отворів (розміром близько 0,35 х 0,35 м). У товщі мурів канали стрільниць відхилялися по горизонталі й вертикалі, дістаючи напрямки залежно від своїх секторів обстрілу. Назовні стрільниці виходили як квадратовими (близько 0,2 х 0,2 м), так і щілиноподібними (0,15 х 0,4 м) отворами. Можна стверджувати, що таке вирішення - це давній прототип багатоканальних стрільниць зі схрещеними каналами й спільною камерою, які з'явилися на початку XVI століття. Особливістю стрільниць долішнього ярусу був різкий ухил каналів догори - для обстрілу крутосхилу.
1657 р., хоча будівництво ще не було завершене, замок витримав облогу козацьких військ, які йши на відсіч князеві Ракоці. 1667 р. фортецю безуспішно намагались взяти татари. Але 1672 та 1676 рр. турецьке військо захоплювало таки замок та зруйнувало його. По відбудові твердиня в Раковці, як і замок в Чернелиці, що знаходиться неподалік, відігравала важливу роль в війнах Яна ІІІ Собєского з турками. Джерела повідомляють про один з епізодів війни, пов'язаний з Раковецьким замком. Беньовський зі шляхтою та селянами мужньо відбивав напади татар, аж доки в замку скінчився провіант. Потім оборонці мусили розпочати переговори з татарами. 1 тоді юнак, ім'я якого лишилося невідомим, спустився вночі по мотузці зі стрімкої скелі над річкою, двічі переплив Дністер і дістався Чернелиці, де отаборилися поляки. Він розповів їм про скруту оборонців і переконав, що Раковецький замок можна легко відбити. Поляки вночі блискавично оточили ворожий табір. Беньовський з оборонцями також зробив вилазку з боку замку. Татарів розгромили.
Наприкінці XVII століття там, де містився Раковецький замок, була переправа через Дністер, а в замку зберігалися запаси провіанту й амуніції. Саме тому цей важливий воєнно-стратегічний об'єкт ставав місцем військових сутичок.
В XVIII ст. замок втратив своє оборонне значення і слугував за житло. Під час Барської конфедерації в 1768 р. фортеця згоріла і вже ніколи не піднялася з руїн. 1840 власник Раковця Дверницький організував на території замку поташеву фабрику, але й вона невдовзі згоріла. Наприкінці того ж століття власником руїн став Шмуль Баран. Від часів занепаду замку місцеві жителі потроху розбирали споруду: огорожі їхніх садиб муровані з червонястого замкового каменю.
Орест Мацюк писав, що ще в 60-х рр. ХХ ст. були навколо збереженої східної башти великі фрагменти оборонних мурів, та моторні аборигени розібрали навіть фундаменти. Зберігся лише невеликий фрагмент північно-західного муру. Біля башти є ще вхід до величезної пивниці.

Що за покутське село без церкви? Та нема таких, не існує. В центрі Раковця є храм під бляшаним дахом. Збудований він у традиційному для цих країв стилі і здалеку здається через це не мурованим, а дерев'яним. Церкву св. Дмитра Солунського збудували у 1858 р. Поруч з храмом стоїть таких же традиційних форм дзвіниця (верх з голосниками під бляхою, низ мурований). Чесно - вперше за дві декади мандрів Україною бачу муровану споруду, котра настільки сильно мімікрує під дерево. Думаю, варіант "був храм дерев'яним, але потім обмурували" в Раковці цілком можливий. Храмом зараз опікується сільська громада УПЦ КП. Церква була нещодавно (в 2014 р.) заново розписана всередині. На розпис на те, що в селах називають "благоустроєм", пішло аж 550 тис. гривень. І це у важкий воєнний час. 9 тис. гривень, котрі були заплановані на соціальний розпиток села, сільрада теж віддала на церкву. От тобі, Раковець, і соціальний розвиток. Не освітлені дороги, не водогін, не нові іграшки в садочок, не книжки в бібліотеку. 

Будівельна гігантомахія, яка накрила в ХХІ столітті всю Галичину, от-от добереться і до Раковця: місцевий священик хоче розбудовуватися, у старій церкві йому тісно. Чи виживе при таких попівських захцянках існуючий храм, який не має жодного охоронного статусу, - ніхто не спрогнозує.  

Трохи далі, на схилі, на старому цвинтарі стоїть ну дуже скромна римо-католицька капличка-усипальня, зведена місцевою власницею Теклею Боровською Дверницькою для свого чоловіка Михайла Дверницького та його брата Механдра Дверницького 29 листопада 1835 р.