В 1629 гг. монах Троицкого монастыря Савватий на Каменной горе основал отшельнический скит с деревянной церковью во имя иконы Знамения Пресвятой Богородицы. При церкви этой было построено несколько деревянных келий, в которых поселились любители монашеского уединения и безмолвия. Новая обитель относилась к мужскому монастырю.

В 1683 г. будучи проездом в Ельце I Епископ Воронежский Митрофан увидел в толпе народа черниц и распорядился переименовать мужской скит в женский монастырь.

Первый женский монастырь на Каменной горе просуществовал в порядке и изобилии около 100 лет. 12 апр. 1769 г. в Ельце вспыхнул пожар, уничтоживший почти весь город. Не устоял тогда и женский монастырь. Испуганные пламенем монахини успели спасти только некоторую церковную утварь и три иконы: Спаса Вседержителя, Троеручницы Божией Матери и Знамения Пресвятой Богородицы. Монастырь был закрыт, а насельницы переведены в Воронежский женский монастырь.

По благословению воронежского и елецкого епископа Святителя Тихона Задонского одна из сестер сгоревшего монастыря Олимпиада Иванова возвратилась в Елец и поселилась вновь на Каменной горе. Скоро стали стекаться туда и другие монахини и поставили несколько келий. В 1813 г. построили в обители новый каменный 2-х этажный храм в честь иконы Знамения Пресвятой Богородицы. Место, где он возводился, было освящено Тихоном Задонским. Зарегистрирован монастырь был в 1822 г. и по новому храму стал называться Знаменским Каменогорским Новодевичьим монастырем.

Часть стен и колокольня монастыря строились по проекту петербургского архитектора Шарлеманя в 40-х гг. XIX в., потому и выдержаны в стиле позднего классицизма, характерного для этого времени. К 1861 г. была завершена высокая колокольня, вызывающая восхищение безукоризненными пропорциями всех 4-х ярусов, постепенно убывающих кверху и завершенная изящным шпилем. Под колокольней в арке были устроены святые ворота, через которые по праздникам совершались крестные ходы. На верхнем ярусе колокольни находилось 10 разных размеров и весом колоколов. Самый большой из них был 179-пудовым.

Монастырский комплекс к нач. XX в. состоял из колокольни, стен с 3-мя башенками, 5 ворот, белокаменной лестницы с просвирней, Знаменской церкви и несколько десятков домов-келий.

Знаменский монастырь славился благочестием, его усердно посещали паломники, которых привлекали ежедневные службы, совершавшиеся здесь строго по уставу, и прекрасное пение.

Одна из монахинь Знаменского монастыря особенно знаменита в Ельце. Эта — Затворница Меланья (1759-1836). Рано оставшись без родителей, она и младшая сестра Екатерина находились на попечении своего старшего брата, который собирался выгодно выдать сестер замуж и тем самым поправить свои денежные дела. Меланья же с детских лет тяготела к иноческому служению, посещала монахинь Знаменского монастыря и желала посвятить свою жизнь Богу. Буквально сбежав из-под венца, она укрылась за стенами Знаменской обители и в 19 лет постриглась в монахини. Вскоре к ней присоединилась и ее сестра Екатерина. Меланья находилась под наставничеством Тихона Задонского, и не раз ельчане видели ее на пути в Задонск к своему духовнику за советом или помощью. За свои аскетические подвиги, совершенство духовной жизни Меланья стяжала дар прозорливости и исцеления. После смерти сестры она ушла в затвор, где провела 17 лет в молитве и посте. Меланья предсказала много исторических событий и свою смерть, люди из многих городов России приходили к ее келии за советом и исцелением.

Святую обитель в разное время посещали не только иерархи православной церкви, но и титулованные особы, князья и графы. В 1860 году побывали здесь писатели В.И.Аскоченский и Л.Н.Толстой. Часто приходил сюда И.А.Бунин.

Гонения на монастырь начались сразу после революции. Формально он был тогда же упразднен и в большевистских документах именовался «бывшим». На деле же община монахинь продолжала иноческое житие на Каменной горе и работала на благо нового государства: шили белье для Красной армии, плели веревочную обувь. Монахиням были выделены продукты. Позже появляется союз по вязанию кружев, пряже пуха и другим работам. Эти союзы хоть и противоречили принципам монастырского жития, все же давали обители возможность жить по прежнему уставу. Здесь совершались богослужения и даже постриг новых монахинь, правда, по большей части тайный. В 1928 году была проведена кампания по закрытию монастыря, которая завершилась арестом части монашествующих. Постройки монастыря после его закрытия использовались под жилье. Вся территория монастыря стала именоваться официально на карте города Рабочим поселком. Знаменский собор был разрушен. В 1997 г. комплекс монастырских строений был передан Русской Православной Церкви.

Летом 2004 г. по благословению епископа Ли­пецкого и Елецкого Никона на террито­рии монастыря в нескольких бывших ке­льях поселились два десятка монахинь и послушниц, начались восстановительные работы на территории обители.

С 2004 по 2007 гг. много вложено труда в дело восстановления поруганной святыни. За прошедший период восстановлена колокольня обители и каменная ограда монастыря, построен и освящен Никольский храм монастыря, построены кельи для насельниц, трапезная для насельниц и паломников, сооружены постройки хозяйственного двора, сделана купель на святом источнике.