После окончания института пробовал работать инженером, но, осознав всю безнадежность преодолеть принципы рабочей политики на русских заводах, отказался от этой идеи. «Заниматься наукой в высшей школе было невозможно», и он решил поехать в Мюнхен к лучшему по его сведениям физику-экспериментатору того времени профессору Вильгельму Рентгену. У Рентгена Иоффе проработал четыре года – сначала в качестве практиканта, живя на собственные средства, а потом – ассистентом. Существенную материальную поддержку в эти годы ему оказывала жившая тогда в Париже С.А. Шефтель. В 1906 г. Рентген предложил ему остаться в Мюнхене для совместной работы. Это лестное предложение Иоффе отклонил и в августе вернулся в Россию, но ежегодно летом в течение нескольких недель продолжал работать в Физическом институте Мюнхенского университета.
Вернувшись в Россию, работал в Политехническом институте, в 1911 г. стал профессором. В годы Первой мировой войны (1916) организовал семинар по новой физике, в котором принимали участие П.Л. Капица, Я.И. Френкель, Н.Н.Семёнов, П.И. Лукирский и др. Этот семинар сыграл чрезвычайно важную роль в развитии физики в России.
В 1918 г. Иоффе стал членом-корреспондентом, а в 1920 г. – действительным членом Академии наук.
В октябре 1918 г. по инициативе профессора медицины М.И. Неменова и при содействии А.В. Луначарского А.Ф. Иоффе основал физико-технический отдел вновь созданного Государственного радиологического рентгеновского физико-технического института. С 1918 по 1921 гг. он – один из директоров (попеременно с М.И. Немёновым) этого института.
Осенью 1919 г. Иоффе основал физико-механический факультет при Политехническом институте, который готовил «физически мыслящих» инженеров-исследователей, людей, способных быстро разобраться в сущности новых, неожиданно возникающих перед ними проблем и решать задачи промышленности. Это была совершенно новая система физического образования – факультет с простыми и ясными целями: чтобы инженеры хорошо знали основные фундаментальные науки – физику и математику, а физики хорошо понимали инженерные проблемы. Ключом к успеху работы факультета была тесная его связь с Физико-техническим институтом.
Иоффе был одним из первых, если не первым физиком, научно-организационная работа которого по своему размаху и значению для страны позволяет отнести его к числу государственных деятелей. Он по праву считается одним из основоположников советской физики. Создание Физико-технического института хронологически было первым воплощением его научно-организационной деятельности. С 1921 по 1950 гг. А.Ф. Иоффе – директор Физико-технического института АН СССР (ЛФТИ).
Значение этого института в истории советской физики трудно переоценить. Это была настоящая школа кадров отечественной физики, из его стен вышло более 50 действительных членов Академии наук СССР и республиканских академий, более 20 членов-корреспондентов АН СССР, несколько сотен докторов наук. Многие из них сами возглавили целые направления исследований, создали собственные, отмеченные печатью индивидуальности научные школы. На базе ФТИ с 1927 по 1955 гг. было создано всего 15 институтов, и некоторое время Иоффе осуществлял руководство этим «Комбинатом физико-технических институтов», а затем с середины 30-х гг. предоставил им полную самостоятельность.
