Журнал "Математический сборник" был основан в 1866 г. в процессе преобразования математического кружка, созданного в 1864 г. профессором Московского университета Н. Д. Брашманом, в Московское математическое общество. Первый выпуск журнала вышел в свет в октябре 1866 года.

Создание Московского математического общества завершилось в январе 1867  г. официальным утверждением его устава и списка учредителей. На одном из ближайших заседаний Общества было принято решение о периодичности выпуска журнала "Математический сборник". Первоначально журнал выходил четыре раза в год и издавался на средства членов Общества и частных пожертвователей. С 1894 г. журнал начал получать финансовую поддержку от государства. С 1956 г. "Математический сборник" стал выходить ежемесячно.

Главными редакторами журнала были: О. Ю. Шмидт, И. Г. Петровский, Л. С. Понтрягин, А. А. Гончар. В разное время в состав редколлегии входили: П. С. Александров, М. А. Лаврентьев, Н. Г. Чеботарев, Л. А. Люстерник, А. Н. Колмогоров, Н. Н. Лузин, И. М. Виноградов, С. Л. Соболев, С. Н. Бернштейн, А. Д. Александров, М. В. Келдыш, А. И. Мальцев, Н. В. Ефимов, М. И. Вишик, Ю. И. Манин, Г. И. Марчук, А. И. Кострикин, П. Л. Ульянов.

С 1967 г. выходит англоязычная версия журнала.