Der Shiba ist eine ursprüngliche, uralte Rasse. Zur Bedeutung des Namens gibt es verschiedene Theorien.

Die erste Theorie ist, dass der Name etwas mit der Fellfarbe zu tun hat („shiba-aka“, wobei „aka“ auf etwas rötliches hinweist).

Die zweite Theorie ist die Ableitung des Ortsnamen „Shiba-Mura“ in der Präfektur Nagano.

Die dritte mögliche Herkunft ist eine alte Bedeutung des Schriftzeichens „Shiba“ (柴), was auf etwas kleines hinweist.

Der natürliche Lebensraum des Shiba´s war die bergige Gegend am japanischen Meer. Dort wurde er zur Jagd auf Kleinwild und Vögel eingesetzt. Skelettfunde bewiesen, daß diese Hunde 8.000-10.000 Jahre vor Christi Geburt gelebt haben und bis heute noch genauso aussehen.

Der Shiba gehört neben Hokkaido, Kishu, Shikoku und Akita Inu zu den typischen japanischen Rassen, wobei er der kleinste und älteste der 5 Rassen ist.

Anfang des 20. Jahrhunderts war der reine Shiba vom Aussterben bedroht. 1928 begann man mit Hunden, die dem alten Shiba sehr glichen, die Zucht wieder aufzubauen. 1934 wurde der Standard des Shiba erstellt.

In Japan wurde der Shiba 1937 zum Naturdenkmal erklärt.