Le mot « shiba inu » (柴犬) combine deux mots japonais : « shiba » (柴) et « inu » (犬).
« Shiba » désigne un type de petit bois de brousse trouvé dans les montagnes du Japon, suggérant quelque chose de petit, compact ou rustique. « Inu » signifie simplement « chien ».
Ensemble, « Shiba Inu » se traduit approximativement par « chien de brousse » ou « petit chien rustique », reflétant les origines de la race dans les zones rurales du Japon.