“Castaways” begon zijn geschiedenis als de “Red Rooster Nite Club” in 1931. Na diverse overnames en herbenoemingen door de jaren heen werd de naam Castaways hotel en casino gegeven door een groep investeerders. Deze groep investeerders onder leiding van Ike P. LaRue verbouwden het complete pand tot hotel en casino, het gebouw bestond uit een casino, twee vleugels met kamers en een radio station. Het casino gedeelte was gevuld met 9 tafel spelen, een keno en 152 fruitautomaten.
Pikant detail was dat er in het gigantische aquarium achter de check in balie 3 keer per dag een showgirl naakt kwam badderen.
Wegens algehele financiële malaise moest het casino haar deuren in 1964 sluiten. Het hotel, de showrooms en het restaurant bleven wel open.
In 1967 werd het casino overgenomen en heropend door Oliver Kable onder de naam “Oliver’s New Castaways Casino”.
In 1970 werd het Casino verkocht aan miljardair Howard Hughes voor 3 miljoen dollar.
In 1987 werd het Castaways casino overgenomen door Steve Wynn die de grond wilde gaan gebruiken voor het ontwikkelen van een nieuw project, zodat uiteindelijk in 2005 overgegaan werd tot de vernietiging van The Castaways.