Академический архив был основан по указу императора Петра II Алексеевича как хранилище документов Конференции (Общего собрания) Академии наук и художеств в Санкт-Петербурге. Первое упоминание о нем относится к 6 (17) января 1728 г., когда распоряжением Блюментроста студент академической гимназии Г.Ф. Миллер, впоследствии академик, первый историограф Российской империи, был «определен» к научному архиву для приведения в порядок академических дел.
Архив Российской академии наук – первый научный архив в нашей стране и одно из старейших учреждений Академии. В его хранилищах в Москве и Санкт-Петербурге собрано около 2000 фондов, содержащих около миллиона единиц хранения – бесценных свидетельств истории развития отечественной науки за XV–XXI вв.
Архив РАН в Москве хранит фонды руководящих органов Академии, академических учреждений – крупных специализированных институтов, научных коллективов, лабораторий, комиссий и научных советов, и личные фонды отечественных и зарубежных ученых с мировыми именами, в том числе историков и историков науки – В.И. Вернадского, С.В. Бахрушина, Н.М. Дружинина, В.О. Ключевского, И.М. Майского, М.В. Нечкиной, Е.В. Тарле, М.Н. Тихомирова и многих других, преимущественно второй половины XIX–XX вв.
2 декабря 1922 г. решением Общего собрания Российской академии Архив Конференции был переименован в Архив Российской академии наук, получил статус общеакадемического и объединил архивы Конференции, Комитета Правления и Отделения русского языка и словесности (б. Российской Академии).