当时由于齐齐哈尔战略位置重要，日军在齐齐哈尔设有多个据点：
第三方面军司令部：代号一三部队，驻齐齐哈尔东树林。
第一四师团司令部：隶属日军一八部队，驻齐齐哈尔市正阳大街。
第二航空军司令部：驻齐齐哈尔市日本神社，今龙沙公园3号门附近。
（哈尔滨马家沟机场失守后，齐齐哈尔机场由于距离马家沟机场太近，立即转场。第二航空军司令部大部也立即转移，下落不明。）
步兵第五九联队：代号二○九部队，驻齐齐哈尔南大营，今第一机床厂院内。
步兵第四六联队：驻齐齐哈尔东大营，今东市场东。
工兵第一四联队：驻齐齐哈尔北大营，今建华厂院内。
齐齐哈尔日本宪兵队本部：驻宪兵队本部院内。
陆军化学研究所：代号五一六部队，驻齐齐哈尔市南浦路与曙光大街交汇处附近。
关东军野战货场齐齐哈尔支场：代号九八三部队，驻齐齐哈尔南大营以南，火车站西南约300米处。
关东军野战兵器厂齐齐哈尔支厂：代号七六部队，驻齐齐哈尔东北郊，今塑料二厂附近。
此外，日军在齐齐哈尔的据点还有位于西南郊的“大黑包”，它是一个圆锥状的大碉堡，建于1937年，集屯兵、储物、指挥、通讯等功能于一体。
四团二团从黑河方向破了齐齐哈尔日军的防线后，日军46联队退守东大营继续交战。