Förlusten innebär att Sverige eventuellt måste vinna borta mot Spanien i kvalepilogen på söndag för att ta direktplatsen till VM i Qatar 2022.
Det var den georgiske stjärnan Chvitja Kvaratschelia som avgjorde kvalmatchen i Batumi – yttermittfältaren satte båda hemmalagets mål efter pausvilan.
Inför den sista omgången står Sverige på 15 inspelade poäng. Spanien och Grekland, som möts senare i kväll, har 13 respektive nio poäng, inför den matchen. Gruppettan går direkt till VM, medan tvåan får spela playoff.