整座山城立在一处谷地，占地甚广，外边是用石头垒砌建成的墙壁，高达丈於。石壁墙垣相当宽厚，足以容纳数名兵卒在上面奔走守御。每隔数十步，就有矢仓，楼中皆有弓箭手。
山城外的四面，近处林密密集，荆棘杂草丛生。城下挖有宽深沟堀，独有一条窄道相连，自东、西两座城门通向山谷，远处则环绕峭壁群山，纵然有人想要从其他方位攻城，野难以施展。
城内的尼子军守军已经得知，山道外的关砦内退兵的传讯，知道了敌军将至城下，因而提前便做好了完善的城防守备。此时城墙上边的守军，多持弓箭、标梭，脚边摆放满了滚石、檑木，美作军显是无机可乘。
宇喜多直家策马观望，看了会儿对方的种种守御措施，心中了然，现在离与内应动手的时间还早，因此也不急於现在便攻城，回到军中，下达命令。
先令长船贞亲率儿玉党本队，列阵稻荷山城门外，严防敌军突袭。
继令原田贞佐等美作豪族的兵马，铲除稻荷山城外的林木杂草，修筑营砦的同时，大张旗鼓的赶制各类粗糙的攻城器械，相比较于内应献城，宇喜多直家还是认为凭借优势人数，发动强攻更加可靠一些。
明石景季问道：“和泉守，我等何时攻打此城？”这位文治奉行出身的家老，虽然不谙军略，可纸上谈兵的见识还是有一些。
宇喜多直家说道：“争取今晚入夜前，先将营砦先立好，等营砦立好后，即可开始攻城！”
户川通安数次回望稻荷山城的壁垒，又望了望天色，说道：“和泉守，山城墙垣外多树、多草。除了应当尽早清理干净，入夜后也当多布置兵卒把手，免得尼子军半夜效仿我军，也来一次放火夜袭。”
宇喜多直家点头说道：“所言不差。”又笑道：“如城内尼子军真赶来出城夜袭，倒是最好不过，正好可让咱们先败他一阵，鼓壮一番士气。”
如户川通安所言，到入夜时，用来筑营的空地还没有将林木尽数砍伐干净。宇喜多直家遂令冈家利和马场职家二人带百名精锐，担任起夜间巡视警戒的重任。
一夜过去，城内的尼子军并未敢冒死出城夜袭围城的敌军。
宇喜多直家失望之余，与诸人说道：“地利在彼，而敌军懦不敢战，可见其城内守将乃是无勇无谋之辈，不足为虑。且待攻城器械打造完备，即可全力攻城，我料城垣虽险，然却不足以为其屏障，诸位若能鼓用奋迅，今夜或可於城内宴饮庆功！”
鼓励士气的言语虽然豪迈，但取胜却遥遥无期。
美作军兵营垒筑成后，全力打造云梯、飞桥等攻城器械，当晚休整一夜。
翌日，开始派兵攻打稻荷山城的墙垣。
城内的尼子军虽然不多，但百姓两千余人，足够上阵守御的丁壮占了半数，再是其城内无主，再是其守备武士无勇无谋，凭借这些丁壮的数量，城内尼子军储备军械的精良，再加上城墙的险要。
宇喜多直家同样是连续攻打三日，死伤众多，都不能破城，眼见到得约定时间，内应却仍旧不见踪影，诸人皆面露难色，退缩之意不言自明。
宇喜多直家召原田贞佐、长船贞亲、马场职家等人到其帐内，面色阴沉，大发雷霆，拍案怒喝道：“不过数百於尼子军据守的山城，我等近四千兵马，以十倍之兵，围攻累日无法克破！来日回见刑部少辅，诸将问及此战经过，吾等如何回复作答？若传扬出去，你我还有何脸面立於吉备？传我军令：明日全军再攻，敢有退者，立斩不赦！长亭闻国秀公有斩将催阵之法，我亦可行之！先登城内者，一番枪功，尽取缴获重赏之！”
原田贞佐本想道，自己等人并不受宇喜多直家节制，他才是军中的阵将，但看到营帐内外，皆是儿玉党内的按刀在手，杀气腾腾兵卒，顿时识趣地闭口不言。
马场职家、岸本惣次郎在内的诸多武士，头次见得这位速来和善的儿玉党総领勃然大怒，顿觉惶恐难安，又受到赏赐激励，同时俱皆奋勇，在儿玉党三将的带领下，大声应诺。
第四日，除去留下监镇的三百人的本阵，作为殿军之外，其余兵马，宇喜多直家进入驱赶上阵，
以原田贞佐队为首的一千五百兵马，围攻稻荷山城的东侧贯手门；以儿玉党为首的一千二百众，围攻西侧石户门，两面齐攻，以绝对的人数优势，来压倒城内因兵力而捉衿见肘的尼子军。
埋锅饱餐战饭，昨日因为怯战溃逃的百名逃兵，被当众押解至两军阵前，十人择一，尽数斩首，余者割去发髻，单独编入死兵队突阵，今日城砦不克，战后无发髻逃兵者，如无杀敌首级，仍旧要被处死。
看得原田贞佐等人，无不是心惊胆颤，原本督战之言不少人还以为只是恐吓虚辞，见得真的拔刀杀人，当即噤若寒蝉。
辰时已至，本阵立刻催动进兵的太鼓与法螺号。
一时，偌大的山谷众，太鼓之声，响遏行云，城墙上下美作军与尼子军兵卒的厮杀，呐喊之声，震动山石，敌我矢石如雨，触目所见，稻荷山城两座城门方向的墙垣上，悉是蚁附攀攻的美作军兵卒。
强攻至下午，急雨坠地。然虽是下雨，宇喜多直家仍不肯停下攻势，反倒加紧擂鼓催阵。
原田贞佐、等美作豪族畏惧他严苛的军法，只得继续冒雨率领本队兵卒，继续猛攻不止。
强攻整整一日，在宇喜多直家的严厉督战下，比之前三天，取得了很大的进展。儿玉党主攻的西侧石户门处，大门被冲桩强行撞开，可惜当时天色已晚，大雨不断，力攻多次不入，只得仓促退兵。