Первые совместные исследования по дыханию растений, проведенные с таким уже известным тогда физиологом и биохимиком растений как В.И. Палладин, определили последующее направление работ Костычева, о чем свидетельствуют и темы его дис-сертаций – магистерской «Исследования над анаэробным дыханием растений» (1907) и докторской «Физиолого-химические исследования над дыханием растений» (1911). В них автор развил свою теорию дыхания, доказав тесную связь между анаэробным и нормальным (кислородным или аэробным) дыханием у растений. Тогда в физиологии растений господствовало представление В. Пфеффера и его ученика Ю. Вортмана, которые усматривали в анаэробном дыхании растений тесную связь с брожением, когда углеводы распадаются на легко окисляемые соединения с выделением углекислоты и спирта. Немецкие ботаники утверждали, что собственно дыхание начинается с окисле-ния готовой молекулы этилового спирта, образующегося в первичном акте брожения, а следовательно, аэробное дыхание является непосредственным продолжением анаэробного и что субстратом дыхания является образующийся в анаэробной стадии спирт. Костычев доказал, что спирт растениями не окисляется, а потому схема Пфеффера-Вортмана несостоятельна.
Теория Костычева получила такое признание, что некоторые коллеги, в том числе и В.И. Палладин, обратились к другой крайности и стали считать химизм дыхания никак не связанным с брожением. Продолжив исследования, Костычев, однако, в скором времени смог доказать наличие генетической связи между этими процессами. При анаэробном распаде молекулы сахара образуют промежуточные продукты, общие для дыхания и брожения. В дальнейшем эти продукты претерпевают разные превращения: при наличии свободного кислорода, т.е. в процессе дыхания, они окисляются до углекислоты и воды, а при отсутствии кислорода образуются углекислота и спирт. Новое представление о генетической связи дыхания и брожения поначалу встретили весьма критически, но доказательства Костычева были столь уедительны, что даже В.И. Палладин отказался от своей позиции. В последующем представления Костычева получили общее признание, а его экспериментальные данные позволили выяснить не только особенности процесса дыхания растений. В частности, эти эксперименты показали также, что анаэробные процессы расщепления углеводов происходят и при пол-ном доступе воздуха, что этиловый спирт, который Пфеффер и Вортман считали промежуточным продуктом, таковым не является и что окислительные ферменты растений могут сжигать промежуточные продукты спиртового брожения полностью до воды и углекислоты.