Кизильташ лежит в семи верстах от Отуз, в сторону от Феодосийско-Судакского шоссе. Со времени Севастопольской войны здесь учрежден монастырь. Богомольцы после службы обыкновенно посещают монастырские пещеры, из которых одна называется Святой, а другая Разбойничьей.

П. Кеппен в 1837 г., когда еще не было монастыря, писал, что "близ Отуз верстах в шести от деревни, несколько вправо от дороги таракташской, есть в скале Кызылташской пещера глубиной на семнадцать шагов, которая иногда привлекает к себе богомольцев. В конце оной на столе, заменяющем алтарь, при образе лежит обломок беломраморной плиты величиною вершков в пять, на коем иссечен лик какого-то святого, судя по венцу, окружающему главу". (П. Кеппен. Крымский сборник, 37.) На кустах у этой пещеры посетитель видит множество разноцветных лоскутков, которые богомольцы отрывают от платья больного и вешают на кусты, помолившись об исцелении его у источника в пещере. Разбойничья пещера находится ниже Святой. Ее образуют две огромные сброшенные скалы. Предание об этой пещере сообщил местный грек Петр Егорьевич Джеварджи. Это предание связано с именем разбойника Алима, хорошо известного Крыму по народному рассказу и песням. Поют о нем и татарские чалгыджи на пирах, и местные гречанки, укачивая детей. Алим, из деревни Зуя под Симферополем, разбойничал в Крыму в сороковых годах прошлого столетия. Это был последний из джигитов, с которыми русской власти пришлось считаться после присоединения Крыма к России. Он пользовался огромной популярностью и несомненной поддержкой среди татарского населения края. До безумия смелый и дерзкий, Алим, говорят, отваживался вступать в открытую борьбу с небольшими отрядами войск, был не раз окружен и схвачен, но каждый раз бежал из тюрьмы, пока, наконец, в 1850 г., по наказании шестью тысячами ударов розог, был сослан на каторгу. Кефеджи - содержатель кофейни. Карасубазарским начальником в то время был Павел Михайлович Жизневский, славившийся богатырской силой.