Но Л.И. Мандельштама более, чем научно-техническая работа, привлекали исследования в области физики и преподавательская работа. И в 1925 г. он сразу принял приглашение возглавить кабинет теоретической физики и стать сотрудником Научно-исследовательского института физики (НИИФ) МГУ, но ещё в течение десяти лет он оставался консультантом ЦРЛ (до её закрытия).
История приглашения Мандельштама в Московский университет сама по себе любопытна. По воспоминаниям студентов того времени, инициатива приглашения исходила от них. Надо сказать, что отделение физики МГУ невыгодно отличалось от математического отделения (тогда ещё существовал общий физико-математический факультет): многие преподаватели-физики отвергали новые теории; особенно «не повезло» специальной теории относительности. Не только студенты, имевшие тогда достаточное влияние на педагогический процесс, но и некоторые лекторы хотели обновления читавшихся курсов. Среди них были С.И. Вавилов, активный сторонник создания отдельного физического факультета и приглашения Мандельштама, Г.С. Ландсберг, И.Е. Тамм. Так начался последний, московский, период жизни и деятельности ученого. Он оказался самым плодотворным.
Мандельштам получает возможность экспериментально проверить оформившуюся у него еще в 1918–1921 гг. теорию, основанную на переносе в оптику из радиофизики представления о модуляции колебаний, то, что он сам называл «колебательной взаимопомощью». При этом он опирался на положения упругой теории теплоемкости, развитой П. Дебаем, для кристаллических тел: тепловую энергию кристалла можно представить как энергию упругих (акустических) волн, на которых происходит рассеяние света, причем в его спектре должны присутствовать, наряду с основной частотой, и спутники. Это явление было также предсказано Л. Бриллюэном (1922 г.).
Опыты проводились совместно с Г.С. Ландсбергом. В 1928 г. они обнаружили значительно более сильный эффект, чем давала теория Мандельштама. Но он быстро понял, что и в данном случае имеет место модуляция падающего на кристалл света, но не на неоднородностях, вызываемых распространением упругих возмущений, а на вариациях показателя преломления, обусловленных колебаниями самих молекул. Обнаруженное явление Мандельштам назвал комбинационным рассеянием света (КРС). Сейчас его чаще называют Раман-эффектом в честь индийского физика, который наблюдал КРС в жидкостях и парах и сообщил об этом несколько раньше, чем Мандельштам и Ландсберг. Раман в 1930 г. получил за это открытие Нобелевскую премию. Такая односторонность Нобелевского комитета стала причиной выхода из него М. Борна, выдающегося немецкого физика. Но ни Мандельштам, ни Ландсберг никогда не высказывали сожаления по этому поводу.
А эффект Мандельштама–Бриллюэна был обнаружен вскоре Мандельштамом и Ландсбергом. В их опытах не удалось получить количественную картину явления из-за недостаточно качественной аппаратуры. Это было сделано в 1930 г. Е.Ф. Гроссом в Государственном оптическом институте.
Л.И. Мандельштам совместно с М.А. Леонтовичем в 1928 г. разработал теорию прохождения частиц через потенциальный барьер, вместе с И.Е. Таммом сделал работу о смысле соотношения неопределенностей для энергии и времени в квантовой механике (опубликована в 1945 г.).
