随着互联网的飞速发展，网络监管成为各国政府和组织关注的焦点。在香港，非法服务器的存在给网络安全带来了威胁，引发了监管责任的争议。

对于非法香港服务器的监管责任，应当由香港政府承担主要责任。作为一个自治地区，香港有责任确保本地网络环境的安全稳定。因此，监管不力导致非法服务器的存在，应当由香港政府承担责任。

为了加强对非法服务器的监管，香港政府可以采取一系列措施。首先，加强对网络运营商的监管，要求其配合关闭非法服务器。其次，建立网络安全法律法规，明确非法服务器的定义和处罚标准。最后，加强与国际组织的合作，共同打击跨境非法活动。

除了政府监管，社会各界也应承担起监管责任。网络用户应提高安全意识，不使用非法服务器进行活动。网络企业应加强自律，不为非法服务器提供支持。媒体和公众也应加强监督，促使政府更加积极地履行监管责任。

在非法香港服务器的监管责任归属问题上，香港政府应承担主要责任，但社会各界也应积极参与监管工作。只有政府和社会齐心协力，才能有效遏制非法服务器的存在，确保网络安全和稳定。