Історія всіх дитячих залізниць розпочалась у 1935 році коли у місті Тифлісі (нині Тбілісі) відкрилася перша дитяча залізниця. З того моменту по всьому Радянському Союзу почали будувати дитячі залізниці. Харків не став винятком, і у кінці 30-х років лабораторія залізничного моделювання при Харківському Палаці піонерів почала розробку проекту дитячої залізниці для свого міста. Було запропоновано кілька варіантів. Найбільш серйозними з них були два. По першому проекту дорога повинна була пройти по саду імені Т.Г. Шевченка, від будівлі ветеринарного інституту (теперішній Палац Піонерів до входу в зоопарк, по другому - кільцем навколо стадіону Палацу піонерів на Динамівській вулиці. У травні 1936 року піонери з 12 міст, де планувалося будівництво ДЗ, були запрошені на нараду, яку проводив академік В.М. Образцов. Після наради проект Харківської ДЗ зазнав істотну переробку: тепер її передбачалося провести там, де вона зараз і перебуває - від парку імені Горького до Лісопарку в північній частині міста.



        До осені 1940 року було побудовано приблизно 1,5 км шляху, спроектоване архітектором Є.О. Лимарем будівлю вокзалу на станції Парк, паровозне депо, мости та інші споруди. 8 листопада 1940 відбулося урочисте відкриття дитячої залізниці. Для перевезення пасажирів використовувався один склад із паровоза «ЮП» серії 159 і декількох пасажирських вагонів. Але пропрацювала вона недовго. 

 

       22 червня 1941 почалася Велика Вітчизняна війна. Через реальної загрози захоплення Харкова фашистськими військами дитяча залізниця закрилася. Евакуювати рухомий склад з дитячої дороги не вдалося. І тоді паровоз розібрали, щоб не залишати ворогові. Оскільки влітку 1941 року вся країна ще сподівалася на швидке завершення війни, зняті з паровоза деталі були ретельно законсервовані і закопані неподалік від станції Парк.

​

        Після звільнення міста 23 серпня 1943 року, дитяча залізниця являла собою дуже сумне видовище. Будівля вокзалу на станції Парк виявилося наполовину зруйнованим - в ньому були відсутні майже всі внутрішні перегородки, просів дах. Повністю згоріли паровозне депо та стрілочні пости, виявився підірваним Білий кам'яний міст. З рухомого складу залишився лише кістяк єдиного вагона, повністю вигорівший зсередини. Не менше постраждав від рук окупантів і сам Харків. Лише у квітні 1945 року влада прийняла рішення про відновлення дитячої залізниці і продовження її ще на два кілометри. До липня 1945 роботи були завершені: повністю відремонтовано будівлю вокзалу, укладені нові обгінні шляху на станції Парк і побудовано тимчасове дерев'яне паровозне депо. Дитячій залізниці передали один чотиривісний і кілька двовісних пасажирських вагонів. Зважаючи гострого браку шпал, нову ділянку шляху був укладений з істотно зменшеною відстанню між шпалами. Передбачалося, що це не перешкодить руху потягів по новій ділянці, хоча і з жорстким обмеженням швидкості.

​

        Найсерйознішою проблемою стала відсутність паровоза який не вцілів після війни. Жодного вузькоколійного паровоза в околицях Харкова знайти не вдалося. На щастя, Кишинівська дорога погодилася віддати один югославський паровоз Yu83 з депо Ізмаїл. Він - єдиний паровоз цього типу (83-040, завод «Будапешт», № 5003, 1929 року побудови), що потрапив в СРСР під час Великої Вітчизняної війни як трофей. Несумісність Yu83 по запчастинах з вітчизняними вузькоколійних паровозами робила його експлуатацію неймовірно складною. Тим не менш, інших варіантів у Харківській ДЖД не було. Паровоз перевезли до Харкова, капітально відремонтували та перейменували в ЛК-83-01 (на честь наркома шляхів сполучення Лазаря Кагановича). Перед відкриттям регулярного руху обкатка показала, що надії будівельників не виправдалися - нова ділянка шляху ледь витримувала навантаження від поїзда. Після довгих коливань було прийнято рішення в день відкриття відновленої дороги, 5 серпня 1945 року, все-таки пропустити один поїзд по всій дорозі, причому по нововідбудованій ділянці він повинен був пройти зі швидкістю не більше 5 км/год. Так дорога пропрацювала до 8 листопада 1945 року, після чого знову закрилася на реконструкцію. За зиму в паровозному депо і між шляхами станції Парк були змонтовані гідроколонки, нова ділянку було перебрано, в колію укладено передбачене стандартом кількість шпал і баласту. Рухомий склад поповнився двовісним критим вантажним (багажним) вагоном 1910 будівлі, який досі можна побачити в тупику на станції Парк. Проведена реконструкція дозволила відкрити рух по всій дорозі в тому вигляді, в якому воно здійснюється і зараз.

​

        До 1 червня 1950 планувалося продовжити дорогу і побудувати нову станцію Комсомольське озеро. У квітні-травні 1950 року газета «Червоний прапор» та журнал «Вогник» писали про це, як про майже виконаний проект, але на ділі даний проект так і не був реалізований. У 1980-ті роки такий варіант подовження дороги знову вийшов на підготовку на здійснення, але до цього діло так і не дійшло.

У 1952 році стрілки станції Парк були обладнані контрольними замками системи Наталевіча. У 1948 році дорога отримала шість нових чотиривісних вагонів і дрезину. В кінці 1940-х років прийшов ще один паровоз - серії 159, що одержав позначення ЛК-159-02. У 1951 році паровоз ЛК-83-01 був списаний, а замість нього на дорогу переданий новенький угорський паровоз Кв4-039 (проект П24), який пропрацював на ДЖД до 1990 року.



        В середині 1950-х років нашу дитячу залізницю почали переводити з парової тяги на дизельну. У 1957 році вона отримала в подарунок від Харківського заводу транспортного машинобудування імені Малишева новенький тепловоз ТУ2-125, придбаний в Калузі на засоби ХЗТМ. Оскільки весь рухомий склад дороги був обладнаний гвинтовими стяжками, а тепловози ТУ2 випускалися лише з ланцюговим ударно-упряжні приладом, потрібна була невелика доробка тепловоза. Виконав її вже згаданий ХЗТМ імені Малишева. Крім того, на заводі тепловоз оснастили метельніком у всю ширину кузова, які зробили його унікальним серед інших тепловозів ТУ2. Цей тепловоз отримав позначення «ТЕУ3-001». У 1986 році дорога отримала ще один тепловоз - ТУ2-054, який відразу ж був перероблений подібно ТЕУ3. Цей тепловоз використовується до теперішнього часу. А влітку 1997 року ТЕУ3-001 був зданий в металобрухт. Приблизно тоді ж, або трохи пізніше, дорога отримала тепловоз ТУ7А-3198. Зараз тепловози ТУ2 і ТУ7А використовуються по черзі.



        У 1960-х роках на зміну дерев'яним пасажирським вагонам прийшли чотиривісні суцільнометалеві, побудовані польським заводом PAFAWAG. Причому, два вагони були рідкісною для СРСР модифікації - м'які. На початку 1980-х років частина пасажирських вагонів PAFAWAG була списана, а замість дорога отримала шість суцільнометалевих пасажирських вагонів ПВ40 побудови Деміховським машинобудівним заводом, з яких був сформований окремий склад. Спершу він носив назву «Піонерський», в 1998 році був перейменований в «Барвінок», а з 1999 року став іменуватися «Юнiсть Пiвденної». У 2002 році один вагон цього складу був переобладнаний в м'який. З решти шести вагонів PAFAWAG був сформований другий склад - "Україна". Оскільки вагони PAFAWAG мають у порівнянні з ПВ40 більш плавний хід, переважно вони і використовуються на сьогоднішній день. У 2007 році вагони поїзда "Україна" піддалися капітальному ремонту на Крюківському вагонобудівному заводі.



        В кінці 1990-х років на перегоні обладнаний ще один зупинний пункт - платформа Меморіал. На жаль, розташована вона не зовсім вдало - на підйомі. Тому, з міркувань безпеки, поїзди слідують повз неї без зупинки. Взимку 1999-2000 років на станції Лісопарк сталася пожежа, яка знищила всі станційні споруди разом з обладнанням. Пізніше тут було зведено невелику цегляна будівля каси і навіс. Робоче місце чергового вирішено було ліквідувати, а стрілки роздільного пункту Лісопарк - включити в електричну централізацію станції Парк. Причому, одна зі стрілок має віддалене управління, а друга перекладається вручну. Одна стрілка на станції Парк має місцеве управління і переводиться з пульта, розташованого в будівлі стрілочного поста поряд з депо. Зроблено це, по-перше, з міркувань безпеки, а по-друге, для організації ще одного робочого місця. При реконструкції засобів СЦБ пульт-табло на станції Парк був замінений новим, виготовленим за спецзамовленням харківським заводом «Хартрон». Але і демонтувати пульту знайшлося застосування - його встановили в навчальному корпусі на цій же станції, де він використовується в якості тренажера.

​

        До початку сезону 2003 року ШЧ-2 Південної залізниці (місцевої дистанції сигналізації та зв'язку) оснастило дитячу залізницю комплектом устаткування для комп'ютерного управління стрілками і сигналами, виготовленим фахівцями фірми «Залізничавтоматика». Тепер можливо управління, як за допомогою старого пульта, так і з ноутбука, встановленого в приміщенні чергового по станції Парк. На екрані монітора відображається схема станцій, а набір маршруту здійснюється простими маніпуляціями мишкою.



        У 2010 року було оголошено про те, що через парк ім. М.Горького буде прокладено автошлях. Вона повинна була пролягти недалеко від станції Парк, саме в тому місті де був переїзд дитячої залізниці. Не зважаючи на протести захисників природи роботи розпочались у травні 2010 року, але рух поїздів на дитячій залізниці не зупинявся. Лише коли дійшло діло до обладнання нового залізничного переїзду рух поїздів було припинено строком на 1 місяць. На місці майбутнього переїзду було повністю перекладено залізничну колію, встановлені ручні і автоматичні шлагбауми "А","Б","В","Г" ,встановлені загороджуючі світлофори, побудовано пост чергового по переїзду, встановлені камери відеоспостереження для спостереження за переїздом з приміщення чергового по станції. Рух поїздів було відновлено  23 серпня 2010 року.



        У лисопаді 2010 Мала Південна відсвяткувала своє 70-ти річчя. З цієї нагоди до Харкова з'їхались юні залізничники з дитячих залізниць України, Россії, Білорусії, Венгрії, Німеччини на Міжнародний зльот юних залізничників.