Av rådets 47 medlemmar röstade 24 för resolutionen, 9 röstade emot och 14 lade ned sina röster.
USA beklagar beslutet och anser att det kan störa de "framsteg som gjorts på sistone".
Israels utrikesdepartement förklarar att landet inte kommer att samarbeta med utredningen, och stämplar den som ett försök att "urskulda brott begångna av terrororganisationen Hamas".
FN:s människorättschef Michelle Bachelet sade i samband med en specialsession i UNHRC att Israels dödliga flygräder mot Gaza kan utgöra krigsförbrytelser om de visar sig ha varit oproportionerliga.
Bachelet sade vidare att hon inte har sett några bevis för att civila byggnader som drabbades av flygattackerna i Gaza användes för militära ändamål.
– Om de visar sig vara oproportionerliga så kan den typen av attacker utgöra krigsbrott, sade hon.
Människorättschefen uppmanade också Hamas, den terrorstämplade rörelse som styr i Gaza, att avstå från att urskillningslöst skjuta raketer mot Israel.
Ett eldupphör satte i förra veckan stopp för elva dygn av uppblossade stridigheter mellan Israel och Hamas. Enligt officiella siffror dödades över 250 människor på den palestinska sidan och 12 personer i Israel.