Jakovlev se narodil v chudé rodině malé vesnici Korolevo v evropské části Ruska. Bojoval v Rudé armádě a v polovině čtyřicátých let se stal členem sovětské komunistické strany.
V sedmdesátých letech se Jakovlev proslavil články, které kritizovaly ruský šovinismus a antisemitismus. Krátce nato ho vedení komunistické strany zbavilo jeho pozice v oddělení propagandy a Jakovlev se stal velvyslancem v Kanadě. Tam se také seznámil s Michailem Gorbačovem, který byl v zemi na pracovní návštěvě.
Když se v roce 1985 Gorbačov stal generálním tajemníkem, působil Jakovlev jako jeho poradce pro zahraniční politiku, ale také ideologii a propagandu. Gorbačova doprovázel na jeho setkáních s tehdejším americkým prezidentem Ronaldem Reaganem.
Zejména ale sehrál klíčovou úlohu při sovětských reformách, které měly napomoci k otevření sovětského trhu i celé společnosti. Kromě ekonomické perestrojky usiloval v rámci tzv. „glasnosti“ o zvýšení svobody slova v Sovětském svazu.
Perestrojka byl soubor reformních kroků, které měly napomoci oživit ekonomiku SSSR. Podařilo se sice částečně zvýšit samostatnost jednotlivých podniků, centrálně řízené hospodářství ale převládalo a proto perestrojka větší výsledky nepřinesla.
Jakovlev nicméně svoje postavení postupně ztrácel a v roce 1991 byl zbaven členství ve straně. Krátce po srpnovém převratu ve stejném roce, kdy pučisté připravili o vliv i Michaila Gorbačova, se Jakovlev přidal na stranu demokratické opozice.
V dalších letech se věnoval zejména historii, politice a ekonomii. Snažil se o rehabilitaci obětí politických represí. Kritizoval jak minulé zločiny komunismu, tak vládu Vladimira Putina.
