User-agent: Mediapartners-Google*
Disallow:
# Googlebot will spider the domain
User-agent: Googlebot
Disallow:
# All robots will spider the domain
User-agent: *
Disallow:
# Инструкции для робота Рамблера
User-agent: StackRambler
Disallow:
# Инструкции для робота Aport
User-agent: Aport
Disallow: