В 1919 г. Ферсман занял должность директора Минералогического музея Академии наук. Он вел громадную общественную (был членом ЦИК Туркменской и Таджикской ССР, Кара-Калпакской АССР, членом Челябинского облисполкома, Кировского горсовета, Миасского райсовета), организационную и административную работу в Академии наук, занимая посты: члена президиума, вице-президента, академика-секретаря Отделения математических и естественных наук АН СССР, председателя Комиссии экспедиционными исследованиями Академии наук, председателя Совета по изучению производительных сил Союза, руководителя издательского дела, директора типографии, директора Радиевого института, директора Уральского филиала АН СССР, директора Кольской базы Академии наук, директора Геохимического института, директора Института кристаллографии, минералогии и геохимии им. М.В. Ломоносова, директора Геологического института, директора Ильменского минералогического заповедника и др. В 1920 г. – ректор Географического института, после слияния этого института с Ленинградским университетом стал первым деканом географического факультета. При активном участии Ферсмана были организованы: Институт археологической технологии при Академии материальной культуры, директором которого он был, Бюро-научно-исследовательского центра (НИС) Наркомптяжпрома (председатель) и др. В 1927 г. Ферсман организовал Институт аэросъемки и стал первым его директором.
Он вел также огромную работу как полевой исследователь. Он посетил Хибинские тундры на Кольском полуострове, Ферганскую долину, пески Каракумов и Кызылкумов в Средней Азии, таежные пространства Прибайкалья и Забайкалья, восточные склоны Урала (был инициатором создания в 1920 г. первого в СССР Ильменского государственного научного заповедника), Алтай, Украину, Крым, Северный Кавказ и Закавказье.
Ферсману принадлежит честь открытия месторождений мирового значения: Мончегорского медно-никелевого и Хибинского месторождения апатита. В 1926 г. Ферсман выдвинул проблему практического значения – отыскание новых технологических способов для переработки апатитовых руд на минеральные удобрения. Был инициатором создания Хибинской горной станции АН СССР (1930) (ныне Кольский филиал РАН). В 1924 г. начал работы в Средней Азии, в 1925 г. предпринял путешествие в Центральные Каракумы, где его экспедиция обнаружила богатое месторождение самородной серы – строится первый в СССР завод по получению серы (до этого серу ввозили из-за границы).
А.Е. Ферсман вместе с химиком М.А. Блохом был одним из инициаторов движения за химизацию промышленности и народного хозяйства страны. В 1928 г. был создан Комитет химизации при Совнаркоме. Здесь состоялся ряд докладов Ферсмана по проблемам хибинского минерального сырья и разработана организация промышленного освоения нового вида апатито-нефелинового сырья. За лучшую работу по химизации СССР он получил в 1929 г. премию имени В.И. Ленина.