Profesně vyrůstal ve stínu staršího a slavnějšího bratra Bena Afflecka. Společně se v 90. letech přestěhovali do Los Angeles, kde si toužili splnit sen a uspět ve filmovém průmyslu. Šel s nimi tehdy i Matt Damon.
Zatímco Benovi se však podařilo v roce 1998 získat Oscara a Zlatý glóbus za scénář k filmu Dobrý Will Hunting, Casey setrvával v propasti neznáma.