V roce 2014 zažili Piráti první velkou krizi. Ivan Bartoš po pěti letech ve své funkci rezignoval. „Strana potřebuje restart. Dělám to pět let ve volném čase, pět měsíců jsem teď věnoval intenzivní kampani, která z pohledu etablování Pirátské strany sice dopadla dobře, ale jsem unavený,“ řekl tehdy. Tehdejší lídr kandidátky prohlásil, že se strana rozděluje na politickou a aktivistickou část. Vyslovil také své zklamání z prohry ve volbách. Křeslo evropského poslance mu tehdy uniklo jen o pár desetin procenta. V návaznosti na to Piráti podali stížnost na pětiprocentní hranici k Ústavnímu soudu.
V roce 2015 přišel Bartošův životní zlom. Při příležitosti oslav výročí sametové revoluce po návštěvě vzpomínkových akcí zamířil do kostela, kde si oficiálně vzal svou partnerku Lydii. Jeho vyvolená pochází taktéž z pirátské líhně a v té době se s Bartošem znala už 3 roky. Také sama za Piráty kandidovala, a to na Praze 8, kde jako své povolání uvedla „kněžka chaosu“. Oddaní byli v husitském kostele a na svatbě nechybělo mnoho jejich pirátských kolegů. Svatebčanů tehdy přišlo okolo třech stovek. Bartoš už sice nebyl předsedou strany, ale všichni tak nějak tušili, že dřív nebo později přijde průlom.
Piráti byli během let často kritizováni nejen jako celek, ale i za výroky jednotlivých členů, nejasnému postoji k NATO, fotkám Bartoše na demonstracích Antifa... kromě nařčení z levicového extremismu čelil někdejší předseda strany velkému množství pomluv a výtek. Vše ale statečně a s chladnou hlavou ustál, až nakonec znovu post lídra pirátské strany obhájil.
Do té doby působil jako řadový člen Pirátů, následně pracoval jako vedoucí mediálního odboru, odkud v tichosti pokoutně pozoroval, jak popularita a úspěchy strany narůstají. Podle průzkumů v roce 2017, kdy se schylovalo k dalším volbám, měli Piráti vystřelit na 4,8 %. Bartoš tehdy přiznal, že se cítí jako tahoun, který je připravený vést stranu k úspěchům v nadcházejících obdobích. Česko čekaly krajské volby, od kterých si Bartoš sliboval zisk alespoň čtyř krajů. To se bohužel ani zdaleka nestalo.
Rok 2017 přinesl řadu zvratů a byl pro Piráty jedním z nejturbulentnějších období. Volby do Poslanecké sněmovny klepaly na dveře, Ivan Bartoš se ocitnul v hledáčků médií a vyplavalo napovrch několik skandálů. Začalo se šuškat o Bartošově údajné závislosti na marihuaně nebo jiných drogách a v červenci téhož roku Bartoše zastavila policejní hlídka, která ho podle jeho vlastních slov prolustrovala jen kvůli nezvyklému vzhledu, tedy výrazným dredům. Když se předseda strany policistů zeptal, co spáchal, dostalo se mu odpovědi, že jde o namátkovou kontrolu.
Následná otázka, na základě čeho tak policisté činí, přiznali, že právě na základě vzhledu. Policista měl Bartošovi také vyhrožovat, že jestli se ho pokusí natočit, skočí po něm a rozmlátí mu telefon. Bartoš přitom tvrdil, že již několik let abstinuje. Žádné hodnoty nepovolených látek předsedovi tehdy naměřeny ani nebyly. „Nenechám to být. Myslím si, že ten policista hrubě a zcela bezdůvodně překročil svou pravomoc,“ řekl tehdy Bartoš, načež podal stížnost a trestní oznámení.