На своите ќерки Корнелиус им оставил по околу еден милион долари, што и натаму било „баснословен“ износ. Семејството се обидело да го поништи тестаментот на Корнелиус, но по година и пол помината по судовите, Вилијам Хенри ги добил парите. И само за девет години успеал двојно да го зголеми наследството.
Со неговата смрт во 1899 почнал и падот на семејството Вандербилт. Неговите синови наследиле богатство кое било проценето на повеќе од шест милијарди долари во денешен износ.
Вилијам Кисам Вандербилт се оженил за Алва Ерскин Смит, која најмногу била заинтересирана за организирање забави и балови. За да го зацементира семејството Вандербилт како припадник на највисоката општствена класа, таа организирала бал каде што секоја поканета гостинка за подарок добила скапоцен ѓердан од „Тифани“.
Наместо да се занимаваат со проширување на бизнис империјата по американскиот запад, Вандербилтови организирале балови и се занимавале со изградба на луксузни куќи. Во тој период, семејството успеало да купи или да изгради десет луксузни вили на славната „Петта авенија“ во Њујорк. Џорџ Вашингтон Вандербилт Втори го потрошил поголемиот дел од наследството на изградба на имот во Северна Каролина.
До дваесеттите години од минатиот век, новата даночна политика ги стигнала и Вандербилтови. Во текот на Големата депресија, тие морале да ги продадат повеќето недвижнини кои ги поседувале. Во Њујорк им останал само еден недвижен имот во нивна сопственост.
Семејното наследство почнало да се разделува меѓу сè поголем број наследници, а во меѓувреме се променила и транспортната индустрија. Прочуеното богатство на Вандербилтови се истопило како снежна топка на светло мајско сонце.