江戸時代、この辺り一帯は畑や竹薮、雑木林が中心の様相でした。
東海道品川宿への利水として玉川上水から分かれた品川用水が通され、この用水に沿って集落も増えました。
この頃の庚申塔がいくつか遺されています。
この地の北に不動明王を祀る龍泉寺（現：目黒不動尊）、西に仁王像を祀る円融寺といった名刹があり、品川宿から参詣道（碑文谷道）がここで分岐したため、参詣客で大いに賑わいました。
ここには、後に信仰を集め現在も残る地蔵堂（朝日地蔵）や道標があり当時を偲ばせています。
この分岐点は『武蔵の辻』『煤団子の辻』などとも呼ばれていました（現在は『表通りの地蔵堂の後ろの土地』に由来するという後地交差点（うしろじこうさてん）として名をとどめる）。
しかし、通りを離れると大正期あたりまでは閑散としており、大正12年では今のパルム商店街のある場所は幅2mほどの小道で、周りは畑ばかりであったといいます。
この頃まで、目黒不動から碑文谷一帯は、江戸・東京市中で出回る筍のほとんどを産していました。

洗足田園都市開発のため、渋沢栄一設立による田園都市株式会社の鉄道部門：目黒蒲田電鉄（現：東急目黒線と東急多摩川線）が通されることとなり、1923年（大正12年）3月11日に後地の地の西側に『小山駅』が開業し、翌年『武蔵小山駅』に改称。
関東大震災以後はこの駅を中心として『武蔵小山』と呼ばれるようになり、爆発的に人口が増加しました。
第二次世界大戦中は商店街から満州へ移住する者もいました。

戦後は駅の南側や東側の区画整理が進み、街路が碁盤の目状となっています。

現在の周囲の町名表記は『小山』『小山台』『荏原』『西五反田｣『平塚』（以上品川区）『目黒本町』『下目黒』（以上目黒区）などであり、『武蔵小山』という地名はありません。
駅周辺には5つの商店街・商店会があり（武蔵小山商店街、一番通り商店街、親友会通り商店会、後地商店会、平和通り商店街）、そのうち武蔵小山商店街『パルム』は完成当時『東洋一』と称えられ、現在でも東京都内では最長の800mのアーケードと約250店舗を有します。
商店街は、駅前を始端とすると中原街道まで至って終端となりますが、すぐ近くから戸越銀座商店街が始まり、長大な商圏を形成しています。

毎年9月第1週の土日には三谷八幡神社（武蔵小山）と小山八幡神社（西小山）の『武蔵小山両社祭』が開かれ、付近の町会から7基の大神輿や山車が繰り出し賑わっています。

武蔵小山商店街は1993年にポイントカードを導入し、2006年5月に『がんばる商店街77選』に選ばれました。

1999年から開始された目黒線の連続立体交差事業により不動前駅から洗足駅に至る区間が地下化されました（2006年竣工）。
目黒線は急行運行が始まり、地域の誘致活動の結果、武蔵小山駅は急行停車駅となりました。
2010年9月には、武蔵小山駅上に駅ビルが完成し、LAWSON+toks・無印良品・東急ストア等が出店しています。

〇交通アクセスについて