1789 körül született Balassagyarmaton. A 19. sz. első felének jelentős komponistája, a verbunkos zene utolsó képviselője. Kereskedő családból származott. Korán megtanult hegedülni, Prágában folytatott magasabb szintű zenei tanulmányokat. 1808-ban Pestre utazott, ahol később a magyar színtársulat hegedűse lett. 1813-19 között Baján élt, de több városban is adott koncerteket (Balatonfüred, Pécs, Székesfehérvár, Veszprém).
Az 1819-es bajai tűzvészben egész vagyona megsemmisült, így először Pécsre, majd Temesvárra ment. Két évig volt a színház zenekarának tagja. 1821-23 körül visszatért Bajára, ahol kisebb-nagyobb megszakításokkal 1833-ig tartózkodott. Itt született Gyula fia (1822-61), aki 1850-ben megalapította a Rózsavölgyi és Társa zeneműkiadó vállalatot. 1824-ben részt vett a Veszprém vármegyei Zenetársaság összejövetelén. Sebestyén Gábor ekkor nevezte el Rózsavölgyinek, de hivatalosan csak 1846-ban engedélyezték a névmagyarosítást (eredetileg Rosenthalnak hívták).
1825-ben a Bács megyei alispán magával vitte a pozsonyi koronázásra. Ekkor keletkezett Koronátio Magyar c. kompozíciója. 1827-ben zenét írt a Baján vendégszereplő Kilényi Dávid által vezetett társulat Illyés sapkája c. színművéhez. 1833-ban Pestre költözött, de továbbra is gyakran fellépett vidéki városokban (Nagyvárad, Kolozsvár, Győr, Szombathely). 1837-ben megnyitotta kapuit az új pesti magyar színház, a Nemzeti Színház, s ebből az alkalomból írta a Nemzeti örömhangok c. művét. Két évvel később itt mutatták be Visegrádi kincskeresők c. daljátékát, amely megbukott.
Az igazi sikert az 1842. farsangjára komponált Első magyar társas tánc jelentette, melyet további társas táncok, csárdások és „magyarok” követtek. Ekkor kezdte addigi műveit a Nemzeti Kör zongoraletétben kiadni. A Pesti Divatlap hasábjain Petőfi elismerően nyilatkozott Rózsavölgyiről, Vahot Imre közzétette a zeneszerző életrajzát. Noha nagy népszerűségnek örvendett, szűkös anyagi helyzetéből adódóan újra fellépett több nagyvárosban, magánórákkal biztosította megélhetését.
1845-ben búcsúhangversenyt adott a Nemzeti Színházban. 1846. május 6-án a Pesti Körben Liszt Ferenc tiszteletére rendezett ünnepségen Rózsavölgyi és Egressy Béni zenekara felváltva szórakoztatta a társaságot. (Liszt magyar rapszódiáiban Rózsavölgyi két témáját is feldolgozta.) 1846-ban ismét koncertkörútra indult, de súlyos betegsége miatt visszatért Pestre. Emlékét Petőfi egy, az Életképekben megjelent költeményével örökítette meg. Alkotásaival érzékenyen reflektált a kor politikai és társadalmi eseményeire (Nemzeti Színház megnyitása, a pesti árvíz, Nemzeti Kör megalakulása). Vahot Imre szerint 1844-ig több mint 200 „eredeti magyar hangművet” írt. A verbunkos zene avatott mestere. Kompozícióit széles ívelésű dallamvonalak, választékos harmonizálás jellemzik, mellyel messze felülmúlta az 1830-40-es évek korstílusát. Ő az első csárdás komponistánk: első csárdása a Honművész mellékleteként jelent meg 1835-ben. 1848. január 23-án hunyt el Pesten.
