User Agent в протоколе HTTP

Термином User Agent называют программу, которая скачивает с сервера страницу сайта. Как правило, этой программой является браузер. Но не всегда - есть и другие программы, которые получают страницы сайтов. Например, поисковые роботы которые анализируют текст страницы и показывают сайт в поиске.

Программы, обращающиеся к серверу как правило передают специальный заголовок User-Agent, содержащий название программы, операционную систему компьютера и язык пользователя.

Общий формат заголовка для браузеров выглядит так:

User-Agent: Mozilla/5.0 (system-information) platform

Как вы видите, для любого браузера значение заголовка начинается с Mozilla/5.0. Так нужно по историческим причинам.

Пример значения заголовка в браузере Firefox под Windows:

Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0

Пример значения заголовка в браузере Firefox под MAC-ось:

Mozilla/5.0 (Macintosh; Intel Mac OS X x.y; rv:42.0) Gecko/20100101 Firefox/42.0

Пример значения заголовка в браузере Chrome под Linux:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36

Пример значения заголовка у робота Google:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Откройте отладчик браузера и изучите содержимое заголовка User-Agent.