Родился 11 апреля 1898 года в деревне Булдеево Воскресенской волости Цивильского уезда Казанской губернии в бедной крестьянской семье. Окончив Булдеевское земское училище с похвальным листом Иосиф один год учился в Бичуринской двухклассной школе. В марте 1916 года в Казанском учебном округе сдал экстерном экзамен на звание учителя народных школ, а с 1 сентября 1916 года был назначен учителем Шанарской начальной школы Покровской волости Чебоксарского уезда. В конце января 1917 года Илларионов И.К. одновременно с отцом был призван на военную службу в царскую армию. Служил в армии Колчака. После Октябрьской революции рядовой Красной Армии. Участвовал в Гражданской войне. Был тяжело ранен в ногу. В 1920 году курсант высших военно-организационных курсов Московского военного округа, с конца 1920 года – ротный инструктор Второго Московского территориального полкового округа. В 1921-22 годах – командир взвода ЧОН во второй Московской особого назначения бригаде. Находясь в рядах Красной Армии , Иосиф Кузьмич с разрешения комиссара 2-го Полкового округа по вечерам учился в Московском практическом институте народного образования. При институте организовал комитет по оказанию помощи голодающим детям Чувашии. Работал воспитателем детского дома №5 по ул.Знаменской г.Москвы, открытым специально для чувашских детей . В конце января 1917 года Илларионов И.К. одновременно с отцом был призван на военную службу в царскую армию. Служил в армии Колчака. После Октябрьской революции рядовой Красной Армии. Участвовал в Гражданской войне. Был тяжело ранен в ногу. В 1920 году курсант высших военно-организационных курсов Московского военного округа, с конца 1920 года – ротный инструктор Второго Московского территориального полкового округа. В 1921-22 годах – командир взвода ЧОН во второй Московской особого назначения бригаде. Находясь в рядах Красной Армии , Иосиф Кузьмич с разрешения комиссара 2-го Полкового округа по вечерам учился в Московском практическом институте народного образования. При институте организовал комитет по оказанию помощи голодающим детям Чувашии. Работал воспитателем детского дома №5 по ул.Знаменской г.Москвы, открытым специально для чувашских детей . В 1925 году Иосиф Кузьмич, еще учась на 2 курсе университета, по поручению Совнархоза Чувашской АССР организовал разведку фосфоритов в Вурнарском районе, оконтурил залежи, определил условия их залегания, подсчитал запасы сырья и установил, что здесь залегают фосфориты как юрского, так и мелового возраста. С 1927 по 1931 год им были организованы и выполнены большие разведочные работы на Вурнарском месторождении фосфоритов и горючих сланцев Чувашии и геологическая сьемка на больших площадях средней части республики. В 1931 году после окончания университета Иосиф Кузьмич Геологическим управлением был командирован в Нижегородское районное геологическое управление, где работал старшим геологом до середины 1933 года. В это время им были выполнены поиски и разведка известняков и доломитов в Урмарском и Козловском районах, открыто Айбесинское месторождение трепелов в Алатырском районе, начата крупномасштабная литолого-геологическая сьемка в южной части Чувашии . В середине 1933 года по просьбе ЦИК Чувашской АССР И.К.Илларионов был переведен в Чувашский научно-исследовательский институт промышленности. Здесь он организовал и возглавил геологический сектор и продолжил дальнейшее изучение недр республики, инженерно-геологических условий территории, подземных вод. Всего два года Илларионову И.К. удалось проработать в Чувашском НИИ. Но за это короткое время им были выполнены изыскания под строительство Канашского вагоноремонтного завода, Дома Советов и школы в Чебоксарах, определены запасы сырья для Ивановского и Чебоксарского кирпичных заводов, поиски и разведка строительных песков в правобережье Суры к северу от Алатыря, стекольных песков на левобережье Волги в районе Сосновки, месторождений карбонатных пород в Козловском, Мариинско-Посадском и Урмарском районах, открыты подземные воды для водоснабжения роддома и сельхозинститута, проведены гидрогеологические исследования на р. Малый Цивиль по заказу Канашского вагоноремонтного завода, участвовал в геологических партиях Куйбышевского гидроузла и Саратовской области. В 1938/39 г.г. работая старшим инженером , исследовал долины р.Волга между устьями Суры и Свияги с целью инженерно-геологической оценки этого участка и выбора створа для сооружения Чебоксарской ГЭС. С осени 1935 года после ликвидации НИИ промышленности И.К.Илларионов переходит работать в Чувашский государственный педагогический институт. Здесь и началась его научно-педагогическая деятельность по подготовке высококвалифицированных специалистов для народного хозяйства страны. В Чувашском пединституте он преподавал до окончания 1946/47 учебного года, до ликвидации географического отделения. Осенью 1947 г. Иосиф Кузьмич был переведен в Тамбовский педагогический институт, в нем он проработал до окончания 1952/53 учебного года, а с 1953/54 учебного года , как прошедший по конкурсу, стал работать в Воронежском государственном университете, где проработал до 1959 года, до выхода на пенсию. Иосиф Кузьмич Илларионов был великим исследователем. В Центральном архиве хранятся 140 его научных работ (статьи и монографии). Широкий научный интерес отличал деятельность ученого. Его самая первая философская работа «Материя как постоянный источник энергии» была опубликована в 1923 году. В 1927 году вышла в свет его первая научно-популярная книга «Юный астроном» на чувашском языке. Результаты первых своих исследований недр Чувашии он опубликовал в 1928 году в работе «Геологические исследования фосфоритных залежей на Ирар-Ишакских горах в юго-восточной части Ядринского уезда ЧАССР». В 1942 году по монографии «Фосфоритно-сланцевые месторождения Чувашской АССР» И.К. Илларионов защитил кандидатскую диссертацию. Начиная с 1947 года И.К.Илларионов публиковал свои статьи в изданиях Воронежского государственного университета и Академии наук СССР, в «Известиях высших учебных заведений», выступал с научными докладами по вопросам геохимии и гидрогеохимии на Всесоюзных совещаниях и на заседаниях Московского общества испытателей природы. Находясь за пределами республики он не прерывал связи с Чувашией, продолжал изучать и теоретически анализировать данные своих многолетних наблюдений. Его исследования всегда были направлены на удовлетворение потребностей народного хозяйства.
В 1960-70 годы, живя в Чебоксарах, Иосиф Кузьмич большое внимание уделял вопросам экологии, в частности, проблемам борьбы с эрозией почв. Наука и творчество были смыслом жизни Иосифа Кузьмича. Илларионов Иосиф Кузьмич скончался 29 сентября 1977 года. Похоронен в деревне Булдеево Цивильского района.