Lagerfeld trávil dětství v bavorském sídle, kam za ním docházel francouzský učitel. Velký průlom v jeho životě nastal krátce poté, co se v padesátých letech přestěhoval se svou matkou do Paříže. Tehdy získal ocenění za výkres vlněného kabátu a dostal se tak do učení módního návrháře Pierra Balmaina.