В 1829 году на средства дворянки Пелагеи Яковлевны Агафонниковой на месте казни людьми Пугачева дочерей местной помещицы была построена церковь Богоявления Господня, Божией Матери Тихвинской, святого Архангела Михаила. По легенде, ее пытались строить в другом месте, но строительство не вышло, и ее установили там, где пролилась дворянская кровь. Там храм стоит и по сей день.
Правда, священник Евлампий Мальцев в своем докладе епархиальному начальству сообщает, что приход существовал еще до 1795 года, ссылаясь на документы, случайно попавшие к нему от землемеров. Он также утверждает, что приход именовался по местному празднику: село Архангельское, Козловка. Помимо церкви в селе были часовни. Одна из них сохранилась до сих пор. Реставрировать ее приезжал архитектор из Санкт-Петербурга К. Башаргин. Он родился и вырос в деревне Устиновка, которая сейчас находится в Козловском сельском поселении.
В Козловке когда-то жил очень талантливый человек – Фрол Иванович Захаров. Он лечил от болезней заговорами, травами, молитвами. К нему тянулась людская очередь из окрестных деревень. Помогал своей целительной силой и родник. Люди, купавшиеся в нем на Крещение, были здоровыми и сильными. И до сих пор сельчане верят в его чудодейственную силу. В честь этого человека в селе названы многие места.
В 1904 году была построена церковно-приходская школа на 4 класса. С 1934 года начала строиться 7-летняя школа. В 1972 году было построено 2-этажное деревянное здание школы, а в 1987 году построена новая кирпичная 2-этажная школа на 192 ученических места.
В 1929 году в селе Козловка был организован колхоз, который до сих пор носит название «Восход».