По утверждению А. И. Солженицына, в 1930—1931 годах Будённый подавлял антисоветские восстания казахов[15].
На февральско-мартовском (1937) пленуме ЦК ВКП(б) при обсуждении вопроса о Н. И. Бухарине и А. И. Рыкове выступил за их исключение из партии, «предание суду и расстрел», в мае 1937 года при опросе об исключении из партии М. Н. Тухачевского и Я. Э. Рудзутака написал: «Безусловно, за. Нужно этих мерзавцев казнить». Вошёл в состав Специального судебного присутствия Верховного суда СССР, которое 11 июня 1937 года рассмотрело дело так называемого «военно-фашистского заговора» (дело М. Н. Тухачевского и других) и приговорило военачальников к расстрелу.
Однако и на самого Будённого усиленно собирался компромат, своеобразный итог этой работы подвёл заместитель начальника 3-го Управления НКВД СССР А. Н. Клыков в справке о Будённом на имя наркома НКВД Л. П. Берия. Так, по мнению чекистов, Будённый «был участником и членом руководства антисоветской организации правых в СССР», «возглавлял антисоветские организации в коннице и среди казачества», «в планах руководства военно-фашистского заговора ему была отведена роль руководителя антисоветского подполья среди казачества». Об «антисоветской деятельности» Будённого ещё с начала 20-х годов были собраны показания от А. И. Егорова, П. Е. Дыбенко, М. К. Левандовского, Н. Д. Каширина, Д. Ф. Сердича, С. Е. Грибова, М. Д. Великанова, А. И. Седякина и многих других лиц, включая его бывшую жену. Кроме того, Семён Михайлович «шпионил» в пользу сразу четырёх государств: Англии, Польши, Италии и Германии.[19]
Существует легенда в различных вариациях, по которой однажды ночью к Будённому приехал «чёрный воронок». Маршал встретил вооружённых ночных гостей с шашкой наголо и с криком «Кто первый!!!» бросился на гостей (по другой версии — выставил в окно пулемёт). Те поспешили ретироваться. Наутро Лаврентий Павлович докладывал Сталину о необходимости ареста Будённого (и в красках описал произошедшее событие). Товарищ Сталин ответил: «Молодец, Семён! Так их и надо!» Больше Будённого не тревожили. По другой версии, расстреляв пришедших за ним работников НКВД, Будённый бросился звонить Сталину: «Иосиф, контрреволюция! Меня пришли арестовывать! Живым не сдамся!» После чего Сталин дал команду оставить Будённого в покое[20]. Дочь Будённого Нина заявила, что такого события не было, а также, что папа «вытащил из лагеря Рокоссовского» и что «не подписал ни одного расстрельного списка»[21].