Самые первые по времени факты появления нашего города на летописных страницах относятся к 1146 г. и связаны они с походом князя Святослава Ольговича, описываемом в Никоновской летописи:
«В лето 6654 … князь великий Святослав иде к Козельску, а из Козельска иде Дедославлю…, в Рязань и быв в Мченске и Туле и Дубне на Дону и в Елце, и в Пронске, и приде в Рязань на Оку… Иде вверх по Оке реце, и пришед на усть Протвы, реци в Любинце».
Они повествуют о тех стародавних временах, когда на арену борьбы за право владеть Русью выступили княжеские кланы — Мономаховичи, Ольговичи, Давыдовичи. Обычно границами этого периода русской истории полагают 1146 — 1161 годы. В связи с событиями 1146 г. стал впервые известен и Елец, вот почему с того времени принято вести его историю.
Упоминаемый в тексте Святослав Ольгович (1106/1107 — 15 февраля 1164) — князь новгородский (1136-1138, 1139-1141, 1142-1144), курский (1138-1139), стародубский и белгородский (1141-1146), новгород-северский (1146-1157), туровский (1149-1151), черниговский (1157-1164). Из черниговских Рюриковичей, сын Олега Святославича (Гориславича), младший брат Всеволода Ольговича и Игоря Ольговича, отец Игоря Святославича, внук Святослава Ярославича.
В то время в Киеве произошли события, связанные со сменой власти, на стол отца и деда сел Изяслав II Мстиславович, который устроил гонения на Ольговичей (Ольга — тетка Изяслава II) и начал отнимать у них имения.
Святослав Ольгович вынужден был уйти в Курск, а оттуда в Новгород Северский. Последний стал местом, где собрались силы, которым не нашлось места в Южной Руси и с которыми пришлось вести борьбу Изяславу II.
Сам же Святослав Ольгович видел в качестве своего союзника Юрия Владимировича Долгорукова, который в это время обживал Северо-Восточную Русь, т.е. Ростово-Суздальскую землю. Юрий считал себя обделенным киевским столом. Святослав Ольгович посылает к Юрию Долгорукому гонца с призывом прийти и править «в Роскоую землю».
Юрий Долгорукий откликнулся на просьбу Святослава Ольговича и двинулся походом в северские земли, но, узнав, что Изяслав II обратился к рязанскому князю Ростиславу Ярославовичу и тот начал воевать волости Северо-Восточной Руси, Ростово-Суздальскую землю — владение Юрия Долгорукова, вынужден был возвратиться в Ростово-Суздальскую землю, а в помощь Святославу Ольговичу отправил своего сына Ивана (Иванка).
А в это время северские земли, принадлежность Святослава Ольговича, воюют и делят сторонники Изяслава II Мстиславовича — Изяслав и Владимир Давидовичи.
Святослав Ольгович вынужден уйти в леса вятичей, где его отец Олег и дед Святослав искали прежде спасения от потомков Всеволода Ярославовича. Там, в дремучих лесах, Святослав Ольгович чувствовал себя более спокойно, нежели у стен Новгород Северского. Вот почему он с частью дружины, с женой и детьми и уходит к вятическому городу Карачеву.
Вслед за Святославом Ольговичем двинулись на север великий князь (Изяслав II Мстиславович), Давыдовичи и родной племянник гонимого князя Святослава Ольговича — Святослав Всеволодович.
В то время как Изяслав и Владимир Давыдовичи подошли к Брянску (Дебрянску), Святослав Всеволодович приехал в опустевший Карачев, из которого ушел только что на север в Козельск его дядя Святослав Ольгович.
Изяслав II Мстиславович же через брянские леса в Козельск не пошел, а вернулся в Киев. Как только это стало известно Святославу Всеволодовичу, тот немедленно оповестил об этом дядю Святослава Ольговича, одновременно предупредив его о том, чтобы он в Козельске не засиживался, ибо Ростислав Мстиславович Смоленский и Давидовичи в Брянске до лета сидеть не собираются и нужно поспешать.
Святослав Ольгович выезжает из Козельска в вятическкий город Дедославль, откуда следует далее на северо-восток на реку Осетр, далее к городу Колтеск (р-н современной Каширы), где соединяется с дружиной Юрия Долгорукова. В Колтеске серьезно заболевает сын Долгорукова Иванко, который умирает 2.02.1147 (1146) года.
Справедливости ради, нужно отметить, что историки А. Н. Насонов и Б. М. Клосс, изучавшие запись под 6654 годом, считают её поздней вставкой составителя Никоновской летописи, аналогичная позиция отражена в БРЭ.