При разработке проекта осуществленного при участии архитектора В.К. Олтаржевского, были использованы достижения мирового архитектурного опыта и практике применения большепролетных арочных покрытий над платформами. Основа творческих поисков определила положение вокзала вблизи Москвы-реки и оживленный радиальной городской магистрали, проходящей через Бородинский мост. Мост, построенный за год до рождения И.И. Рерберга по проекту его отца (совместно с инженером И.Ф. Кенигом), 1912-1913 годах, перед постройкой вокзала был заменен современным (архитектор Р.И. Клеин, инженер Н.И. Осколков).

Творческий процесс формирования облика вокзала был подобен обработке архитектурных форм комплекса Северного страхового общества. Неоднократно дорабатывался главный фасад с колоннадой на уровне высокого второго яруса, приобрели большое изящество фланкирующие его порталы - крыльца, башня высотой 51 метр была вынесена за пределы фасада, а его первоначальное архитектурные переработаны.

Наружный контур всего здания достигает почти 900 метров. Залы ожидания просторны и имеют большую высоту, площадь самого большого из них - центрального более 900 м2. Позади залов ожидания было четыре подъездных пути под стеклянным ангароподобным покрытием- дебаркадером. В качестве конструктивной основы этого покрытия шириной 47 метров, длиной 231 метр и высотой 30 метров Рерберг предусмотрел арки из крупных ажурных металлических элементов, попарно соединенных в верхней части. Их конструирование, изготовление и установку взяла на себя специализированная фирма Бари, главный инженер которой, выдающийся конструктор- механик В.Г. Шухов, не меняя принципиально конструкцию, рационализировал ее, что упростило изготовление и сократило стоимость. Шухова признают не только исполнителем, но и автор этого уникального покрытия.

Летом 1914 года состоялась церемония закладки здания. В выполнение декоративно-отделочных работ приняли участие скульпторы С.С. Алешин (скульптуры "Труд" и "Урожай" на главном фасаде и др.), Ф.И. Рерберг (участие в росписи плафонов) и другие мастера. Основные работы были завершены в 1917 году.

В 1920 году И.И. Рерберг провел дополнительные работы на Киевском вокзале, главным образом отделочные. Иван Иванович намечал создание большой площади, связывающей вокзал с городом. Современную площадь Киевского вокзала можно рассматривать как воплощение замыслов И.И. Рерберга.

Не безынтересно дальнейшая судьба этого крупного вокзального здания. В 1940 - 1945 годах к нему был пристроен в конце северного фланга корпус с кассовым залом и вестибюлем метро (по проекты Д.Н. Чечулина), а затем в самом здание проведены большие работы, насытившие интерьеры рядом новых деталей, однако не отвечающих рербергскому направлению. Реставрация 1979-1981 года была направлена обновление сложившейся отделки и архитектурных деталей. Одновременно были проведены ремонт и реконструкция металлического покрытия над перронами, несколько изменены конструкции и внешний вид кровли: ступенчатыми рядами уложено более 2800 щитов в виде металлических рамок и специального стекла повышенной стойкости, в том числе цветного.

В начале 1920-х годов Моссовет передал Киевскому вокзалу стоящие вблизи четырехэтажное жилое здание, построенное в 1882 году Иван Иванович перестроил его под железнодорожный привокзальный клуб, вскоре преобразованный в клуб имени А.И. Горбунова.

В годы гражданской войны строительная деятельность в Москве была весьма ограниченной, а первые организационные шаги носили специфический характер. Так, ведавший устройством противоэпидемических санпропускников на железных дорогах Комитет пропускных санитарных сооружениях был реорганизован в Особый комитет по строительству города Москвы (Оском). И.И. Рерберг начальник технического отдела этого комитета сочетал здесь организационно-техническую деятельность и проектной. Одной из работ Рерберга в этот период была частичная переработка проекта и завершения законсервированного 1915 года строительства пятиэтажного жилого дома, Хлебопродукта на Новинском бульваре (здание не сохранилось). Одновременно он построил деревянный павильон Хлебопродукта на Всероссийской сельскохозяйственной и кустарно-промышленной выставки 1923 года.

Более крупным заказом было проектирование и руководство надстройкой двумя этажами большого трехэтажного конторского здания Варваринского акционерного общества на Мясницкой улице, возведенного в 1890-х годах, а также проектирование и строительство новых корпусов во дворе. Здесь разместился созданный после гражданской войны Нефтяной синдикат СССР. В облике надстроенных этажей видны характерные черты творческого почерка Рерберга: при скупом пользование простых архитектурных деталей и отдельных лепных украшений достигнута необходимая увязка новой части фасада со старой, в равной степени отвечающей деловому назначению здания. Таким образом, И.И. Рерберг выполнял один из первых заказов столице по строительству жилых, административных и общественных зданий.

Учитывая присущее И.И. Рербергу бережное отношение к существующим произведениям зодчества, его пригласили выполнять обязанности архитектора три крупнейших столичных театра - Большой, Малый и Художественный. По свидетельству А.В. Щусева, он "много сделал работ для этих театров".