Rákosi wurde in der Stadt Ada geboren. Nach seinem Abitur absolvierte er eine kaufmännische Ausbildung. Zwischen 1910 und 1912 arbeitete er als Praktikant bei verschiedenen Großfirmen in Hamburg und London. 1910 wurde er Mitglied in der Sozialdemokratischen Partei. 1914 kehrte er nach Ungarn zurück und meldete sich zum Freiwilligen Militärdienst. Anfang 1915 wurde er an die Ostfront geschickt und geriet im April desselben Jahres in russische Kriegsgefangenschaft.
Anfang 1918 gelang es ihm zu fliehen und im Mai kam er zurück nach Ungarn. Im November 1918 gehörte er zu den Gründungsmitgliedern der Ungarischen Partei der Kommunisten. Als Führungsmitglied der Partei verhaftete man ihn im Februar 1919, er wurde jedoch bald wieder auf freien Fuß gesetzt. Während der Räterevolution fungierte er als Oberster Befehlshaber der Roten Garde („Vörös Örség“). Im Juli 1919 floh er nach Wien, wo er mit anderen emigrierten Kommunisten interniert wurde.
Nach seiner Freilassung im Jahre 1920 wurde er wegen seiner Rede am 1. Mai zur persona non grata in Österreich erklärt. Er begab sich daraufhin in die Sowjetunion und nahm aktiv an der Arbeit des Exekutionskomitees der Kommunistischen Internationale teil. 1924 kehrte er illegal nach Ungarn zurück und betätigte sich erneut in der ungarischen kommunistischen Bewegung. Im August 1925 wurde er verhaftet und zu achteinhalb Jahren Haft verurteilt. Nach Ende seiner Haftstrafe stellte man ihn wegen seiner Aktivitäten während der Räterepublik erneut vor Gericht. Er wurde zu lebenslanger Haft verurteilt. 1940 entließ man ihn unter der Bedingung, dass er unverzüglich in die Sowjetunion abreiste. In Moskau gehörte er zu den führenden Persönlichkeiten der in die Sowjetunion emigrierten ungarischen Kommunisten und arbeitete als Redakteur für Radio Kossuth. Am 30. Januar 1945 kehrte er nach Ungarn zurück und bekleidete nach den Parlamentswahlen von 1945 den Posten eines Staatsministers. Nach den Wahlen im Jahr 1947 wurde er Stellvertretender Premierminister und Staatsminister. Ab dem 10. März 1948 gehörte er dem gemeinsamen Parteikomitee der Ungarischen Kommunistischen Partei und der Sozialdemokratischen Partei an; am 19. März wurde er dessen Präsident. Am 12. Juni ernannte man ihn zum ersten Sekretär der Ungarischen Arbeiter-Partei.
1952 wählte ihn das ungarische Parlament zum Präsidenten des Ministerrates, bereits im Juni des folgenden Jahres verlor er diesen Posten wieder.
Er gehörte zu den Gegnern der Politik des neuen Kurses von Imre Nagy. Ab Januar 1956 stieg er erneut zur wichtigsten Person in der ungarischen Führung auf. Es gelang ihm jedoch nicht, die sich zuspitzenden innen- und außenpolitischen Probleme des Landes zu bewältigen. Rákosi wurde von der Funktion des Ersten Sekretärs auf der Sitzung des Zentralausschusses der Ungarischen Arbeiter Partei entbunden und nicht einmal mehr in den Parteiausschuss gewählt. Unter dem Vorwand einer ärztlichen Behandlung reiste er in die Sowjetunion. Während des Aufstandes befand er in Moskau. Erfolglos versuchte er beim Zentralkomitee der KPdSU sowie in persönlichen Briefen an Chruschtschow Unterstützung für seine Rückkehr zu erwirken. Er wurde im Juni 1957 aus Moskau nach Krasnodar, dann nach Tokmak in Kirgisien und letztlich nach Gorki umgesiedelt.
Im August 1962 wurde er aus der Partei ausgeschlossen. Im April 1970 stimmte das Plenum der Partei seiner Rückkehr unter der Bedingung zu, dass er sich von jeglichen politischen Aktivitäten fernhielte. Rákosi lehnte dies jedoch ab. Er starb am 5. Februar 1971 in Gorki. Seine Asche wurde am 16. Februar 1971 heimlich nach Ungarn transportiert.