有权利行政处罚的单位有：
1、行政机关实施行政处罚。行政处罚由具有行政处罚权的行政机关在法定职权范围内实施，没有行政处罚权的行政机关或其他组织一般不能实施行政处罚。或者授权的省、自治区、直辖市可以决定一个行政机关行使有关的行政处罚权，但人身自由的行政处罚权只能由机关行使；
2、授权实施行政处罚法律、法规授权的具有管理公共事务职能的组织，可以在法定授权范围内实施行政处罚工商所、税务所、派出所等行政机关的派出机构依相应法律、法规享有一定的行政处罚权，他们必须在授权法规定的行政处罚的种类、幅度范围内实施行政处罚。超过授权法规定的处罚种类、幅度、数额的，该行政处罚无效。如《税收征收管理法》第四十九条规定，税务所可对个体工商户及未取得营业执照而从事经营的单位、个人实施罚款数额在一千元以下的行政处罚；
3、委托实施行政处罚。
行政处罚的执行应当遵守原则：
1、当事人自觉履行原则；
2、行政复议和行政诉讼期间，行政处罚决定不停止执行原则；
3、作出罚款决定的行政机关应当与收缴罚款的机构分离；但是，依照行政处罚法的规定可以当场收缴罚款的除外。
法律依据：《中华人民共和国行政处罚法》第十五条
行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。
第十六条
或者经授权的省、自治区、直辖市可以决定一个行政机关行使有关行政机关的行政处罚权，但人身自由的行政处罚权只能由机关行使。
第十七条
法律、法规授权的具有管理公共事务职能的组织可以在法定授权范围内实施行政处罚。
第十
行政机关依照法律、法规或者规章的规定，可以在其法定权限内委托符合本法第十九条规定条件的组织实施行政处罚。行政机关不得委托其他组织或者个人实施行政处罚。