Такой эффект может возникать в случае, если ваше выделение имеет размытый край. Обратите внимание, что в некоторых инструментах выделения можно установить параметр размытия для края (Feather). В данном случае установите значение 0 пикселей, тогда граница выделенной области получится четкой и не размытой. Можете смело пользоваться инструментом заливки.
