Теппер зайнявся містечком всерйоз, збудував для себе палацик і оточив його садом (зараз там райлікарня), звів велетенську броварню і суконну фабрику, запросив на роботу німецьких спеціалістів. Серед лісів за містом заснував нове поселення, назване на його ж честь Теперівкою.
В палацику Тепперів, за місцевим переказом, заховані були в стінах рештки чудової колекції порцеляни сімейства Мошинських. В 1902 р., за Раціборовських, палац було реконструйовано. Зараз виглядає настільки ніяк, що навіть не є включеним у реєстр пам'яток місцевого значення. UPD: за останніми даними, близько 2011 р. маєтку-лікарні спробували повернути риси палацової архітекрути. Треба буде перевірити.
Все йшло добре, аж поки в 1799 р. банк Теппера не збанкрутів, а деражнянський маєток не був розділений на менші шматки. В 1803 р. Деражня дісталася Клемену Берно (Klemens Berneaux), а в 1807 р. переходить у руки посла сейму (читай депутата), графа Міхала Чацького (помер в 1828 р.). Граф теж дбав про новопридбаний маєток - і знову заклав в Деражні банк, але в 1820 р. продав всі маєтності разом з 352 чоловічими "душами" Ігнацію Мошинському - за 57 тис. російських карбованців. Від дочки Мошинського Деражню і Тепперівку в 1844 р. купив Станіслав Раціборовьский. А далі Деражні дещо не пощастило: найхазяновитіший з синів Станіслава, Вацлав Раціборовський, отримав Маків і Шатаву - щоб зробити їх чи не найбільш задбаними маєтками Поділля. Деражня ж дісталася молодшому сину Тадеушу. Онук Станіслава Раціборовського Віктор був останнім власником Деражні - бо далі була революція, зачинатель котрої все ще стоїть у вигляді монументу в центрі міста.
Бувала в Деражні і пасія Олександра Пушкіна Олександра Оленіна.
Здається, життя в Деражню вдихнули не численні пани, а банальна залізниця: всі споруди, що дожили до наших днів, з'явилися вже після появи тут рельсів (1871 р., вокзал відкрито в 1896 р.). Про те, як змінилася Деражня з появою залізниці, описано в оповіданні Шолом-Алейхема "Німець":
«Нынче Деражня стала вроде города с железной дорогой, станцией и вокзалом. Понаехало народу из окрестных деревень в город. Хозяева стали перестраивать дома, новые лавки ставить, повысили таксу на мясо, начали уже подумывать о новом резнике, о новой синагоге, о прирезке земли, чтоб розширить старое кладбище, словом, стало весело!»
Чимало зі збережених старих будівель належало свого часу одній з найчисельніших етнічних груп деражні - євреям (в 1765 р. їх проживало в місті 310 чол., в 1784 р. - вже 444 чол., в 1865 р. - 1000 чол., 1897 р. - 3333 чол.). Власниками майже 40 місцевих крамничок були євреї. Стаття на міському сайті наводить цікавий факт про конфіскацію в 1757 р. талмудів і спалення їх на площі Кам'янця. Там же сказано, що Устим Кармалюк в 1830-ті не один раз шукав прихистку в деражнянських євреїв та збував їм награбоване майно. Не менше трьох десятків місцевих іудеїв були членами загонів повстанця. А деражнянський чоботар Сруль навіть був конторником загону Кармалюка. Тому й у висновку Сенату від 31 серпня 1839 р. Деражня названа "сборищем преступников и дезертиров и местом, где скрывались они сами, так их похищеное имущество…». За це Деражня мусила виплатити казні 19 тис. карбованців за нанесені державі збитки.
Кілька слів про збережені до наших днів старі кам'яниці. Міліція (майдан Привокзальний, двоповерховий прибутковий дім 1912 р., скромний цегляний модерн): у червні 1919 р. тут перебував штаб ІІ бригади 2 української дивізії Д.Шмідта. З 1920 р. і до кінця 1960-х тут перебував райком КПРС. Друкарня по вул. Миру, 79 - колишній особняк нотаріуса М.М.Зикєєва (1901). В 1919 р. тут перебував полк червоного козацтва В.Примакова.
Найгарніший будиночок по вул. Миру. 89 - особняк адвоката Периторіна. У 1918 р. у будинку на правах оренди розмістилася гімназія. В день її урочистого відкриття 1 жовня 1918 р. їй присвоїли ім'я Тараса Шевченка. З 1921 р. гімназія стала трудовою школою. Пізніше тут був будинок школяра.
