荒川にかかる秩父橋を渡り、川沿いの急な坂を上ると第20番札所の岩之上堂がある。秩父札所の中では一番古いといわれる観音堂は、江戸初期に建てられたもので、江戸時代から続く旧家の内田家が所有する。堂内には宮殿形の厨子があり、扉裏には日天、月天、風神、雷神と共に観音三十三応身が彫刻されている。観音堂近くの内田家が納経所。そこから荒川に向かって石段を降りると乳水場があり、ここの水を飲むと乳の出がよくなったり、重湯やお粥を炊くのによいといわれる（現在、乳水場は歩道が危険なため非公開）。本尊は聖観音。