Посёлок городского типа Ковшаровка находится на левом берегу реки Оскол, выше по течению на расстоянии в 1,5 км расположен пгт Купянск-Узловой, ниже по течению на расстоянии в 7 км расположено село Глушковка, на противоположном берегу — село Осиново. По посёлку протекает пересыхающая речушка «Дубовка», выше по течению которой примыкает село Новоосиново. К посёлку примыкают большие лесные массивы.