Сиба относится к древним породам. Её предками были собаки, которых охотники использовали для охоты на разную дичь, скрещивая их между собой, чтобы сконцентрировать и закрепить желаемые охотничьи качества. В соответствии с киридзи название породы русскими буквами пишется как «сибаину» или «сибакэн» — в японском языке иероглиф 犬 может читаться «ину» или «кэн», подобно как в русском можно сказать «собака» или «пёс». Сиба-ину, или малая японская собака, на родине имеет название Сиба Кен, или японский карлик. Основное поголовье этих собак в Японии находится в деревнях.
Название породы «сиба-ину» можно также перевести как «собака из полного кустарником леса», что отражает назначение породы. Сиба-ину — это охотник на пернатую дичь в зарослях с густым подлеском, также использовались для охоты на медведя, оленя, кабана. В японском фильме «Старый охотник на медведей» рассказывается о старом охотнике, его внуке и их собаках сиба-ину