Han ersätts av Ali Bagheri, som är emot eftergifter till västmakterna, rapporterar statliga medier.
Abbas Araghchi kommer dock även i fortsättningen att vara en del av landets förhandlingar om kärnenergiavtalet, även om han inte längre kommer att leda förhandlingsdelegationen.
Nyutnämnde Ali Bagheri har tidigare arbetat nära president Ebrahim Raisi, som tillträdde i början av augusti och även tidigare varit chef för landets rättsväsende.
Ebrahim Raisi tog över presidentposten från Hassan Rouhani, vars största eftermäle är kärnvapenavtalet från 2015, som ledde till lättade internationella sanktioner mot Iran. USA lämnade senare avtalet under Donald Trumps tid som president. Nuvarande president Joe Biden har sagt att han vill gå med igen.
Ali Bagheri har upprepade gånger kritiserat Rouhani för de eftergifter han gick med på i avtalet.