A Revolução de Março de 1964 apanhou o PCB de surpresa, pois contava com o propalado "esquema militar" de Jango.
Entretanto, a onda de prisões só atingiu alguns de seus líderes mais notórios, pois as forças policiais ainda não possuíam um serviço de informações bem estruturado e, freqüentemente, confundiam socialistas com comunistas e, entre estes, a quais organizações realmente pertenciam.
Um exemplo típico foi a prisão de Carlos Marighela, num cinema da Praça Saens Peña, no Rio de Janeiro, solto, logo depois, pelo desconhecimento de sua real importância no Partido.
Em 12 de abril, a apreensão das famosas "cadernetas de Prestes" serviu para desvelar, um pouco, a estrutura do PCB, pois, contendo centenas de nomes de militantes, de simpatizantes, de aliados e de colaboradores, demonstrou a extensão das ligações do Partido, particularmente as políticas. Em maio, o PCB iniciou a primeira tentativa de rearticulação de sua estrutura, realizando reuniões parciais do Comitê Central em São Paulo e na Guanabara. Essas reuniões, entretanto, serviram mais para marcar o aparecimento de uma luta interna, definida pelos choques entre radicais e moderados.
Em julho, uma reunião da Comissão Executiva (CEx) demarcou os dois campos: analisando a derrota de Jango, criticou a possibilidade de alcançar as reformas por meios pacíficos e pregou a necessidade de preparar as massas para, revolucionariamente, resistir ao "golpe". Era a visão dos radicais da Comissão Executiva - Mário Alves, Marighela, Jacob Gorender, Jover Telles e Apolônio de Carvalho -, que preparava, sob uma linha radical, a próxima reunião do Comitê Central, que seria realizada em maio de 1965.