Rodil se je 15. septembra 1946 v San Sabi v Teksasu, njegovo kariero pa so zaznamovale predvsem vloge trdih, redkobesednih in pogosto precej nepopustljivih mož. Na filmu je debitiral že leta 1970, širšo pozornost pa je dobil z vlogami v Rudarjevi hčeri, televizijski vesternovski miniseriji Osamljeni golob in Stoneovem JFK. Pravi hollywoodski preboj je sledil leta 1993 z Beguncem, v katerem je ob Harrisonu Fordu igral zveznega maršala Samuela Gerarda. Vloga mu je prinesla Oskarja za najboljšega stranskega igralca, Gerarda pa je pet let pozneje ponovno odigral v filmu Šerifova pravica (U.S. Marshals).

Povsem drugačno občinstvo ga je spoznalo kot agenta K v Možeh v črnem. Njegov mrtvo resni nastop ob precej bolj živahnem Willu Smithu je postal eden zaščitnih znakov filma, Jones pa se je k vlogi pozneje vrnil še v Možeh v črnem 2 in Možeh v črnem 3. Med njegovimi drugimi znanimi filmi so Stranka, Batman za vse čase, Vesoljski kavboji, Ni prostora za starce, V dolini smrti in Lincoln.

Jones je bil za Oskarja nominiran štirikrat, poleg igranja pa se je lotil tudi režije. Leta 2005 je režiral in odigral glavno vlogo v filmu Trije pokopi Melquiadesa Estrade, za katerega je na festivalu v Cannesu prejel nagrado za najboljšega igralca. Njegova filmografija danes obsega več kot pol stoletja in številne zelo različne vloge, kljub temu pa je njegov zaščitni znak ostal skoraj nespremenjen – resen pogled, suhoparen humor in sposobnost, da pove več z nekaj besedami kot marsikdo z dolgim monologom.