Rajk absolvierte ab 1927 ein Studium der ungarischen und französischen Sprache und Literatur in Budapest. Seit 1930 betätigte er sich in der illegalen kommunistischen Bewegung. Er wurde mehrmals verhaftet und konnte deshalb sein Studium nicht abschließen. Wegen eines von ihm mitorganisierten Bauarbeiterstreiks wurde er des Landes verwiesen. Er nahm am spanischen Bürgerkrieg teil und wurde dort schwer verwundet. Nach dem Sturz der spanischen Republik ging er nach Frankreich und wurde dort interniert. Nach Ungarn zurückgekehrt wurde er dort erneut festgesetzt. Nach seiner Freilassung im September 1944 wurde er Sekretär des Zentralkomitees der Kommunistischen Partei und gehörte zu den leitenden Figuren der ungarischen Widerstandsbewegung. Im Dezember 1944 verhafteten ihn die Pfeilkreuzler und deportierten ihn nach Deutschland. Am 15. Mai 1945 kehrte er nach Ungarn zurück und betätigte sich erneut auf der Führungsebene der kommunistischen Partei. Zwischen März 1946 und August 1948 war er ungarischer Innenminister. Während seiner Amtszeit begann die Zerschlagung der ungarischen Zivilgesellschaft. Er organisierte die ersten Schauprozesse und war mitverantwortlich für den Wahlbetrug der Kommunisten im Jahre 1948 (Operation Blauer Zettel). Er ging gnadenlos gegen jegliche antistalinistischen Tendenzen vor.
1948 entband man ihn seines Amtes als Innenminister, 1949 wurde er verhaftet. Im Rahmen eines Schauprozesses verurteilte man ihn zu Tode und richtete ihn hin. Nach seiner postumen Rehabilitierung im Jahre 1955 wurde er am 6. Oktober 1956 unter großer Anteilnahme der Bevölkerung feierlich beerdigt. Die Trauerkundgebung mündete in eine Demonstration gegen die Politik Rákosis.