Gary Wayne Holt nació el 4 de mayo de 1964 en Richmond California. Si bien no es miembro fundador, Holt es el único músico que ha aparecido en cada uno de los trece álbumes lanzados por la banda de thrash de San Francisco Exodus. En 2011, los compañeros thrashers del Área de la Bahía, Slayer, le pidieron a Holt que reemplazara a Jeff Hanemann en la guitarra, y actuó con la banda durante su gira de cinco fechas en el Australian Soundwave Festival, así como en el concierto de la banda en el Big 4 Concert en Indio, California. el 23 de abril.

Exodus fue fundada en 1980 por el actual guitarrista de Metallica, Kirk Hammett, el segundo guitarrista Tim Agnello, el líder Paul Baloff, Tom Hunting en la batería y Carlton Melton en el bajo. Antes de que se nombrara a la banda o se escribieran las canciones, Agnello dejó la banda para seguir una vida de ministerio y fue reemplazada por Holt, quien se había desempeñado como técnico de guitarra de Hammett. Holt ha sido considerado el principal compositor de la banda desde entonces y ha sido el único miembro que permaneció con la banda desde entonces.

Para 1982, cuando la banda grabó su primer demo, Melton había sido reemplazado por Jeff Andrews en el bajo, quien se iría poco después para formar Possessed. La demostración sería la única contribución grabada de Kirk Hammett con la banda, ya que se fue poco después para unirse a Metallica. Holt contrató a Rick Hunolt para reemplazar a Hammett, y el dúo más tarde sería conocido como el "H-Team" de la banda. Con Rob McKillop a cargo del bajo, esta formación se dirigiría al estudio para grabar su primer álbum, "Bonded By Blood" de 1985, que aún es considerado el mejor de la banda por sus fans más devotos.

Poco después de que "Bonded By Blood" terminara de grabar, Baloff fue despedido por la banda y reemplazado por Steve "Zetro" Souza, quien había sido el líder de Legacy, una de las primeras encarnaciones de la banda Testament. Baloff pasó a formar una banda llamada Piranha, llamada así por una de las pistas de "Bonded By Blood". La formación se mantendría bastante estable durante los años siguientes, y el éxito clandestino de "Bonded" llevó a la banda a firmar con Sony/Combat Records, que lanzó su segundo álbum, "Pleasures of the Flesh", en 1987.

"Pleasures" tuvo poco éxito comercial, pero la banda alcanzó el oro con su próximo álbum, "Fabulous Disaster", en 1989. El álbum alcanzó el puesto 82 en la lista Billboard 200, algo inaudito para las bandas de ese género en ese momento, y un video del sencillo "Toxic Waltz" se reprodujo mucho en "Headbanger's Ball" de MTV. Exodus continuaría lanzando nueve álbumes de estudio más, ninguno de los cuales igualó el éxito de "Fabulous Disaster", aunque la banda es considerada un engranaje principal en el auge del movimiento thrash del Área de la Bahía, junto con los incondicionales del Área de la Bahía con mayor éxito comercial. Metallica, Slayer, Ántrax y Megadeth. La banda también ha lanzado tres álbumes en vivo y dos compilaciones.

Holt actualmente tiene un acuerdo de patrocinio con Schecter Guitars y tiene un modelo exclusivo a través de ellos, aunque ha usado guitarras Ibanez, Jackson y BC Rich en el escenario en el pasado. Holt lanzó un video instructivo en 2008 llamado "A Lesson In Guitar Violence" y produjo el segundo álbum de Warbringer, "Waking Into Nightmares", en 2009.

Holt cita como sus principales influencias en la guitarra: Ritchie Blackmore, Michael Schenker, Tony Iommi, Ted Nugent, Angus Young, Uli Jon Roth y Matthias Jabs. Black Sabbath, Judas Priest, Venom, Motorhead y Iron Maiden se encuentran entre las bandas que, según Holt, lo inspiraron.