天保8年(1837) 4月17日(異説16日)、土佐藩士・馬廻役300石・乾栄六正成の嫡男として高知城下中島町に生れる。母は林氏。諱は初め「正躬(まさみ)」と称し、のち「正形(まさかた)」と改めた。号は「無形(むけい)」。幼名猪之助。初諱正躬、のち正形。通称退助。号無形。先祖の本姓は板垣氏で、退助の代は乾氏を称していたが、のち戊辰戦争の際、本姓に復した。

退助の幼名・猪之助(いのすけ)は、乾和三(山内備後)の前名「猪助(いのすけ)」からあやかって命名されたもので、乾和三の「猪助」の「猪」の字は、山内猪右衛門と名乗っていた当時の山内一豊公から、和三が「猪」の字を賜ったことによるもの。「猪」は、「猪突猛進」、「猪武者」などと言われ、武士に好まれた動物であった。
しかし退助は「猪之助」の名の通り、腕っぷし強そうな相手でも怖いもの知らずで、猪突猛進に喧嘩をしたりと腕白に育ち過ぎたせいで、謹慎処分を受けることしばしば。ついに藩主公から「猪突猛進に突き進む「猪之助」ではなく、一歩、退いたぐらいを心掛けよ」と「退助(たいすけ)」と言う名を賜ったとか。
後藤象二郎(幼名は「保弥太(やすやた)」)とは竹馬の友で、お互い「いのす」、「やす」と呼びあっていた。

9月9日、惣領御目見。

白小僧の餓鬼大将であった、板垣退助(乾猪之助)の少年時代の話。

と、かえってこれを褒めたと。この乾家の門は、移設され高知市比島の龍乗院の山門として現存しています。

腕白盛りで「盛組(さかんぐみ)」の首領として名を売ったが、同輩藩士と喧嘩となり罪を得て「屹度遠慮(きっとえんりょ/「謹真」のこと)」の処分を受ける。