Wurde in Danbury, Connecticut, geboren. Er studierte Musik an der Yale-Universität und war daneben als Organist tätig. Nach seinem Abschluss entschloss er sich zu einem konventionellen Beruf, weil er glaubte, musikalische Kompromisse schließen zu müssen, wenn er von der Musik leben wolle. Tagsüber arbeitete er daher als Versicherungskaufmann, nachts und an den Wochenenden und in den Ferien war er Komponist. Er schrieb Sinfonien, symphonische Dichtungen, Klavier- und Kammermusik, Chorwerke, Orgelkompositionen und über 100 Lieder.
Dabei reicht die Klangpalette vom raffiniert einfachen Kirchenlied bis hin zu auf dem Konzertflügel kaum noch realisierbaren Klangkomplexen. Ives experimentierte mit Vierteltönen, Überlagerung verschiedener Tonarten und verschiedenen Tempi und integrierte populäre Musik in seine Kompositionen. Zu seinen Lebzeiten wurden seine Werke kaum aufgeführt. Ives blieb bis zu seinem ersten Herzinfarkt 1918 ein überaus produktiver Komponist; danach schränkte er das Komponieren sehr ein. 1924 unternahm Ives seine erste Europareise, und zwar nach England. Seine letzte originale Komposition Sunrise für Stimme und Streichquartett über einen eigenen Text stammt aus dem Jahr 1926. Danach folgten noch etliche Revisionen und Überarbeitungen früherer Werke. Weitere Europareisen folgten in den Jahren 1932/33, 1934 und 1938.

1940 traf er Lou Harrison, einen Anhänger seiner Musik, der ihn förderte und seine Popularität etwas steigern konnte. 1947 gewann er den Pulitzer-Preis. Das Preisgeld verschenkte er (zur Hälfte an Harrison) mit der Aussage: „Prizes are for schoolboys—I am no longer a schoolboy.“

Heute gilt Ives als einer der wichtigsten Komponisten Amerikas.