Το 1944, μαζί με τον Όλιβερ Τάμπο και τον Γουόλτερ Σιζούλου, ίδρυσε τη νεολαία του Αφρικανικού Εθνικού Κογκρέσου, της οποίας ανέλαβε πρόεδρος το 1950. Με τον Τάμπο ίδρυσε και το πρώτο δικηγορικό γραφείο μαύρων της Νότιας Αφρικής, το 1952.
Το 1962 συνελήφθη και πάλι και καταδικάστηκε σε πέντε χρόνια καταναγκαστικά έργα επειδή είχε βγει παράνομα από τη χώρα και επειδή υποκινούσε τους μαύρους εργάτες να απεργήσουν. Ακολουθεί νέα δίκη, το 1963-4 και η καταδίκη του σε ισόβια κάθειρξη, μετά την ανακάλυψη του μυστικού αρχηγείου του ΑΕΚ όπου βρέθηκε το ημερολόγιό του μαζί με διάφορα έγγραφα για τη δράση των αντάρτικων ομάδων.
Από το 1964 ήταν κρατούμενος στο νησί Ρόμπεν, αρχικά σε άθλιες συνθήκες και με ακραίους περιορισμούς στον αριθμό επισκεπτών και την αλληλογραφία του: του επέτρεπαν ένα γράμμα και έναν επισκέπτη ανά έξι μήνες. Σταδιακά οι συνθήκες βελτιώθηκαν και το 1982 μεταφέρθηκε στη φυλακή Πόλσμουρ όπου του επετράπη να συνεχίσει τις σπουδές του και να πάρει τελικώς το πτυχίο Νομικής, το 1989. Την χρονιά εκείνη ο τότε πρόεδρος της χώρας Πίτερ Μπότα πρότεινε να τον απελευθερώσει υπό τον όρο να αποκηρύξει τη βία, κάτι που ο Μαντέλα δεν δέχτηκε.
Τα χρόνια που έζησε στη φυλακή και οι αγώνες του μέσα από αυτήν για την κατάργηση του απαρτχάιντ τον κατέστησαν έναν από τους διασημότερους πολιτικούς κρατούμενους της εποχής του και ηγέτη μυθικών διαστάσεων για εκατομμύρια μαύρους Νοτιοαφρικανούς αλλά και για όλους τους καταπιεσμένους λαούς σε όλο τον κόσμο.
Μετά από 27 χρόνια στις φυλακές, στις 11 Φεβρουαρίου 1990, ο Μαντέλα αποφυλακίστηκε, μία εβδομάδα αφότου ο πρόεδρος Φρεντερίκ ντε Κλερκ νομιμοποίησε το Αφρικανικό Εθνικό Κογκρέσο.
"Καθώς περνούσα επιτέλους αυτές τις πύλες (...) αισθανόμουν ότι, έστω και στα 71 μου η ζωή μου ξεκινούσε ξανά. Οι 10.000 ημέρες στη φυλακή είχαν επιτέλους τελειώσει», είχε γράψει ο ίδιος για την ημέρα που αποφυλακίστηκε.
Την ίδια χρονιά εξελέγη αντιπρόεδρος του ΑΕΚ και την αμέσως επόμενη ανέλαβε την προεδρία στη θέση του Όλιβερ Τάμπο. Μετά το δημοψήφισμα του 1992 για την κατάργηση του απαρτχάιντ, όπου, αν και συμμετείχαν μόνο οι λευκοί κάτοικοι της Νότιας Αφρικής, εγκρίθηκε με ποσοστό 68,7%, η χώρα οδεύει προς τις πρώτες πολυφυλετικές εκλογές, στις 27 Απριλίου 1994. Το ΑΕΚ πέτυχε σαρωτική νίκη, με ποσοστό 62,65% και 252 έδρες στο 400μελές κοινοβούλιο της χώρας και ο Μαντέλα ανέλαβε πρόεδρος της χώρας σε μια πανηγυρική τελετή, παρουσία πολλών πολιτικών ηγετών απ' όλο τον κόσμο.
Το 1997 ο Μαντέλα παρέδωσε την ηγεσία του ΑΕΚ στον Τάμπο Μπέκι και δύο χρόνια αργότερα του παρέδωσε και την προεδρία της χώρας.
Το 1998, την ημέρα των 80στών γενεθλίων του, παντρεύτηκε την Γκράσα Μασέλ, τη χήρα του πρώην προέδρου της Μοζαμβίκης Σαμόρα Μασέλ με την οποία είχε δεσμό τα τελευταία χρόνια. Είχε ήδη χωρίσει, το 1992, από την δεύτερη σύζυγό του, Ουίνι Μαντέλα, με την οποία απέκτησε δύο κόρες. Με την πρώτη σύζυγό του, Έβλιν Ντόκο, με την οποία χώρισε το 1957 μετά από 13 χρόνια έγγαμου βίου, απέκτησε δύο γιους και δύο κόρες, η μία εκ των οποίων πέθανε σε βρεφική ηλικία.
Από το 2004 ο Μαντέλα είχε περιορίσει σημαντικά τις δημόσιες εμφανίσεις και τις δραστηριότητές του γιατί, όπως είχε πει ο ίδιος, ήθελε να αφιερώσει περισσότερο χρόνο στην οικογένεια και τους φίλους του. Είχε ανακοινώσει μάλιστα την αποχώρησή του από τη δημόσια ζωή λέγοντας χαριτολογώντας: «Μην μου τηλεφωνήσετε, θα σας πάρω εγώ». Παρέμενε όμως πάντα δραστήριος στον αγώνα του για την καταπολέμηση του AIDS, την προστασία των ανθρωπίνων δικαιωμάτων και την οικονομική ανάπτυξη της Αφρικής. Τα τελευταία χρόνια είχε εισαχθεί πολλές φορές για νοσηλεία λόγω αναπνευστικών προβλημάτων και λοιμώξεων.
Ο Μαντέλα τιμήθηκε το 1993 με το Νόμπελ Ειρήνης, από κοινού με τον πρόεδρο ντε Κλερκ, για τις προσπάθειές τους να καταργήσουν το απαρτχάιντ στη Νότια Αφρικής.
Ενόσω ήταν ακόμη κρατούμενος, το 1988, το Ευρωκοινοβούλιο του είχε απονείμει το βραβείο Ζαχάροφ «για την ελευθερία του πνεύματος» ενώ το 1992 τιμήθηκε με το τουρκικό βραβείο «Κεμάλ Ατατούρκ, αλλά αρχικά αρνήθηκε να το παραλάβει, σε ένδειξη διαμαρτυρίας για τις παραβιάσεις των ανθρωπίνων δικαιωμάτων στην Τουρκία και το δέχτηκε μόνο το 1999. Το 1998 είχε τιμηθεί από τον τότε πρόεδρο των ΗΠΑ Μπιλ Κλίντον με το χρυσό μετάλλιο (την ανώτατη διάκριση) του Κογκρέσου ενώ το 2006 η Διεθνής Αμνηστία τον ανακήρυξε «Πρεσβευτή της Συνείδησης», την υψηλότερη διάκρισή της.
Τον Νοέμβριο του 2009 η Γενική Συνέλευση των Ηνωμένων Εθνών ανακήρυξε την 18η Ιουλίου «Ημέρα του Μαντέλα» και κάλεσε όλους τους ανθρώπους να αφιερώσουν 67 λεπτά από το χρόνο τους για να κάνουν κάτι θετικό για τον πλησίον τους, τιμώντας τα 67 χρόνια που ο Μαντέλα αφιέρωσε στον αγώνα του κατά του ρατσισμού.
Το 1994 είχε αναγορευτεί επίτιμος διδάκτορας της Νομικής Σχολής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης.
Έγραψε δύο αυτοβιογραφικά βιβλία, το «Μακρύ δρόμο προς την ελευθερία» και το «Συζητήσεις με τον εαυτό μου» που έγιναν διεθνή μπεστ-σέλερ.
kathimerini.gr