のように、 android:includeFontPadding="false" でできます。 layout_marginTop="-8dp"とか使って調整してたんですが、ギリギリまでやると一部端末でテキストが表示されなくなることがあり調整が難しかったんですが、こんな指定方法あったんですね。