Просьбу своего государственного секретаря об отставке в феврале 1810 г. Александр I не удовлетворил и М. М. Сперанский продолжил работу над детальными проектами реформ. Но дальнейшее течение дел и времени приносило ему все новых и новых недоброжелателей. К середине 1811 г. М. М. Сперанский почувствовал, что светское общество начало против него войну. В ход пошли излюбленные средства интриганов - сплетни, обвинения во взяточничестве и даже в государственной измене. В последнем случае Михаилу Михайловичу припомнили Эрфурт и встречи с Наполеоном. Этот упрек в условиях обострившихся российско-французских отношений было особенно тяжелым.

Некоторое время император открыто не реагировал на то, что ему говорили о М. М. Сперанском. Более того, в день своего 40-летия реформатор был награжден орденом Александра Невского. Однако ритуал вручения прошел непривычно строго, официально, и для двора стало очевидным изменение отношения императора к М. М. Сперанскому [37, c.208].

В этих условиях недоброжелатели М. М. Сперанского еще больше активизировались. Среди них были лица, занимавшие высокие должности при дворе. Особенно выделялись шведский барон Густав Армфельд, председатель комитета по делам Финляндии, и А. Д. Балашов, руководитель Министерства полиции. Оба имели право непосредственных докладов императору и даже получили назначения по представлению М. М. Сперанского. Они передавали Александру всю негативную информацию о госсекретаре. Но возможно, эти доносы в конечном счете не возымели бы сильного действия на императора, если б весной 1811 г. лагерь противников реформ не получил вдруг идейно-теоретического подкрепления совсем с неожиданной стороны [17, c.151].

В марте этого года император посетил Тверь, где жила его сестра Екатерина Павловна. Вокруг великой княгини, женщины умной и образованной, сложился кружок людей недовольных либерализмом Александра и, особенно, деятельностью М. М. Сперанского. Они считали конституцию «совершенным вздором», а самодержавие полезным не только России, но и другим государствам. В их глазах М. М. Сперанский был «преступником», овладевшим волей слабохарактерного монарха.

Среди посетителей салона Екатерины Павловны особенно выделялся Н. М. Карамзин, замечательный русский историк, читавший здесь первые тома своей «Истории государства Российского» [26, c.153]. Во время визита Александра I в Тверь, великая княгиня представила Н. М. Карамзина государю, и писатель передал ему «Записку о древней и новой России» - своего рода манифест противников перемен, обобщенное выражение взглядов консервативного направления русской общественной мысли.

В записке Н. М. Карамзин подверг резкой критике все мероприятия, проводимые правительством, считая их несвоевременными и противоречащими «духу народа», его исторической традиции. Выступая за просвещение, он в то же время защищал самодержавие. По его мнению, самодержавие - единственно возможная для России форма политического устройства. На вопрос, можно ли хоть какими-то способами ограничить самовластие, не ослабив спасительной царской власти, - он отвечал отрицательно. Любые перемены, «всякая новость в государственном порядке есть зло, к коему надо прибегать только в необходимости». Спасение же Н. М. Карамзин видел в традициях и обычаях России и ее народа, которым вовсе не нужно брать пример с Западной Европы. Одна из таких традиционных особенностей России - крепостничество, возникшее как следствие «естественного права». Н. М. Карамзин спрашивал: «И будут ли земледельцы счастливы, освобожденные от власти господской, но преданные в жертву их собственным порокам, откупщикам и судьям бессовестным? Нет сомнения, что крестьяне благоразумного помещика, который довольствуется умеренным оброком или десятиною пашни на тягло, счастливее казенных, имея в нем бдительного попечителя и сторонника». Этот аргумент выражал мнение большинства помещиков, которые, как свидетельствует современник Н. М. Карамзина Д. П. Рунич «теряли голову только при мысли, что конституция уничтожит крепостное право и что дворянство должно будет уступить шаг вперед плебеям» [14, c.3].

Как видим, ничего принципиально нового в «Записке» Н. М. Карамзина не содержалось: многие его доводы и принципы были близки значительной части русского общества и известны еще в предшествующем столетии. Неоднократно слышал их, по-видимому, и государь. Однако на сей раз эти взгляды были сконцентрированы в одном документе, написанном живо, ярко, убедительно, на основе исторических фактов и человеком, не близким ко двору, не облеченным властью, которую он боялся бы потерять.

Эта записка Н. М. Карамзина сыграла решающую роль в отношении к М. М. Сперанскому. К тому же в это время давление на императора настолько усилилось, а получаемые им доносы на «изменников» приобрели такой характер, что было просто невозможно и далее оставлять их без внимания. Вместе с тем самоуверенность самого М. М. Сперанского, его неосторожные упреки в адрес Александра I за непоследовательность в государственных делах, в конечном итоге переполнили чашу терпения и вызвали раздражение императора, который, по словам историка Н. К. Шильдера, в частных разговорах обещал М. М. Сперанского расстрелять [39, c.18].

Развязка наступила в марте 1812 г., когда Александр I объявил М. М. Сперанскому о прекращении его служебных обязанностей. В 8 часов вечера 17 марта в Зимнем дворце состоялась роковая беседа между императором и государственным секретарем, о содержании которой никаких сведений не сохранилось. В этот же день дома М. М. Сперанского уже ждал министр полиции А. Д. Балашов с предписанием покинуть столицу. Реформатор не мог и предположить, что возвратится в столицу только через девять лет, в марте 1821 г.

Современники назовут эту отставку без какого-либо официального указа «падением М. М. Сперанского» [4, c.77]. Но они будут вполне осознавать, что в действительности произошло не простое падение высокого сановника, какое часто имеет место в политике, а падение реформатора со всеми вытекающими отсюда последствиями.

С высылкой из столицы для М. М. Сперанского наступили времена новых испытаний. Отправляясь в ссылку, он не знал, какой приговор вынесен ему в Зимнем дворце. Это обстоятельство усложнило и отношение к нему местных чиновников в Нижнем Новгороде, а затем и в Перми, где он находился в 1812-1814 гг. Отношение в простом народе к М. М. Сперанскому было противоречивое. В частности, М. А. Корф отмечал: «...Местами ходил, довольно громкий говор, что государев любимец был оклеветан, и многие помещичьи крестьяне даже отправляли за него заздравные молебны и ставили свечи. Дослужась, - говорили они, - из грязи до больших чинов и должностей и быв умом выше всех между советниками царскими, он стал за крепостных…, возмутив против себя всех господ, которые за это, а не за предательство какое-нибудь, решились его погубить» [22, c.86].

Тем не менее, обвинение М. М. Сперанского в государственной измене не списывалось со счетов, особенно в годы патриотического подъема, вызванного нашествием французов. Пермский губернатор даже установил осенью 1812 г. у дома ссыльного двух караульных. Свой поступок он объяснил тем, что «временщик при виде будочников поймет конец своей роли». М. М. Сперанский неоднократно обращался к императору и министру полиции с просьбой разъяснить его положение и оградить от оскорблений. Эти обращения возымели последствия: распоряжением Александра надлежало выплачивать М. М. Сперанскому по 6 тысяч рублей в год с момента высылки.

1 октября 1816 г. М. М. Сперанский был возвращен на государственную службу в должности пензенского губернатора. По прибытии на новое место Михаил Михайлович не встретил горячей поддержки со стороны местного чиновничества. По словам М. А. Корфа, местные чиновники и до него, и при нем были жалкими, большей частью - совершенно безграмотными: «Секретарь губернаторского правления страдал запоем, а секретарь общественного призрения был страстным картежником и не умел составить ни одной бумаги... Заменить их было некем, и оттого губернатор все сколько-нибудь важное должен был писать сам» [36, c.221].

М. М. Сперанский не успел проявить себя в этой должности, так как в марте 1819 г. получил новое назначение - генерал-губернатором Сибири. Неплохо осведомленные о его прошлом, сибиряки говорили: «Человек руководил государством, а здесь ему приходится нашими обыкновенными делами заниматься». М. М. Сперанский чрезвычайно быстро вник в местные проблемы и обстоятельства с помощью провозглашенной им «гласности». Прямое обращение к самому высокому начальству перестало «составлять преступление» [4, c.108]. Сибирь заговорила, причем не с помощью тайно переправляемых в Санкт-Петербург жалоб, а вполне открыто и на месте.

Новый сибирский генерал-губернатор решил провести ревизию Сибири. Она вскрыла вопиющие злоупотребления, произвол местного начальства и полное бесправие населения. Чтобы как-то поправить положение, М. М. Сперанский начинает проводить реформы управления краем.

«Первым сотрудником» при проведении сибирских преобразований был будущий декабрист С. Г. Батеньков. Он вместе с М. М. Сперанским энергично занимался разработкой «Сибирского уложения» - обширного свода реформирования аппарата управления Сибири. Вместе они подготовили множество проектов: о сухопутных сообщениях, об учреждении этапов, об административном образовании губерний по природным зонам и т.д. Особое значение среди них имели два проекта, утвержденные императором: «Учреждения для управления Сибирских губерний» и «Устав об управлении инородцев» [23, c.364]. Примечательно, что особенностью последнего явилось предложенное М. М. Сперанским новое деление коренного населения Сибири по образу жизни на - оседлое, кочевое и бродячее. Соответственно этому делению, каждая категория получала свои права и обязанности, а власти предписывался порядок управления ими.

В период работы над «Сибирским уложением» С. Г. Батеньков искренне верил, что М. М. Сперанский, «вельможа добрый и сильный» действительно преобразит Сибирь. В последствии ему стало ясно, что М. М. Сперанскому не было дано «никаких средств к исполнению возложенного поручения» и результаты его деятельности в Сибири не отвечали возлагавшимся надеждам. Однако С. Г. Батеньков считал, что «за неуспех нельзя винить лично М. М. Сперанского». Он писал о последнем: «Память о нем сохранилась во всей Сибири, несмотря на перемену лиц, уставов и дел, ибо многие памятники и очерк учреждения устояли среди всего этого. Личность его нелегко изглаживалась из памяти, и многие семейства помнили добром»[9, c.115].

В конце января 1820 года М. М. Сперанский направил императору Александру краткий отчет о своей деятельности, где заявил, что сможет окончить все дела к маю, после чего пребывание его в Сибири «не будет иметь цели». Этим Михаил Михайлович явно подталкивал государя к тому, чтобы тот позволил ему в ближайшем будущем возвратится в Петербург. Дозволение Александра не заставило долго себя ждать. Но император предписывал своему бывшему госсекретарю расположить путь из Сибири таким образом, чтобы прибыть в столицу к последним числам марта будущего года. Эта отсрочка сильно повлияла на М. М. Сперанского. В его душе начали преобладать чувство бессмысленности собственной деятельности, сознание того, что в Петербурге по-прежнему есть его недруги, страх остаться в Сибири навсегда и даже боязнь подвергнуться необоснованным обвинениям со стороны местных чиновников, уличенных им в злоупотреблениях.

В марте 1821 года реформатор вернулся в столицу. Он сразу почувствовал изменения, произошедшие в столичном обществе. События отечественной войны создали в русском обществе небывалую обстановку. Вошел в моду либерализм, привычными стали не только разговоры, но и публичные речи о политической свободе, представительных учреждениях, конституции.

6 июня 1821 года М. М. Сперанский был принят императором. Эта встреча привлекла к себе пристальное внимание всего светского общества. У многих даже мелькнула мысль о возврате императора на путь преобразований. Но в действительности беседа прошла очень холодно, и М. М. Сперанский понял, что перестал пользоваться прежним влиянием при дворе. В итоге за ним осталось лишь место в Государственном совете.