Нет. не у всех есть во вкладке LAN. Лучше прописать.
Для того, чтобы твой сервер видели все игроки, тебе нужен во-первых статический IP адресс (белый, который не меняется), открытые порты 8303 и т.д....
