В этом году Openstat кроме исследований всего Рунета, которые интересны более всего интернет-прессе, провел много серийных отраслевых исследований, предположительно интересных игрокам рынков. С одной стороны банковское исследование — одно из таких отраслевых исследований. С другой стороны оно стоит чуть-чуть особняком, так как список исследуемых сайтов определялся не категоризатором, а был просто задан списком банковских сайтов. Плюс инструментарий был выбран более разнообразный, чем в наших стандартных исследованиях.
Две небольших главы из этой работы могут быть интересны широкому кругу читателей.

CMS для банков

Чем больше и сложнее сайт, тем чаще он пишется с нуля и не использует готовых CMS. Openstat, выполняя другое исследование (по заказу Searchengines.ru), обнаружил подтверждение этому мнению: мы исследовали top-50 различных тематических разделов Яндекс.Каталога, и доля самописных движков составила среди них 78-92%.
Однако сайты банков почти все простые, поэтому выбор коробочных CMS был ожидаем, что отчасти и подтвердилось.

 Название CMS   Количество   Доля от общего числа сайтов   Лицензия   Место во всем Рунете 
не определено 772 63,43%    
1C-Bitrix 208 17,09% коммерческая 3
Joomla 76 6,24% бесплатная 1
Drupal 27 2,22% бесплатная 4
MODx 22 1,81% бесплатная 9
Netcat 20 1,64% коммерческая 15
ABO 18 1,48% коммерческая 38
WordPress 13 1,07% бесплатная 2
Atilekt 13 1,07% коммерческая 56
HostCMS 12 0,99% коммерческая 13
UMI 10 0,82% коммерческая 14
RBC Contents 9 0,74% коммерческая 42
S.Builder 5 0,41% коммерческая 46
Made Simple 3 0,25% бесплатная 21
DLE 2 0,16% коммерческая 5
TYPO3 2 0,16% бесплатная 26
SiteEdit 1 0,08% коммерческая 33
ShopCMS 1 0,08% коммерческая 20
uCoz 1 0,08% бесплатная 6
DJEM 1 0,08% коммерческая 50
MaxSite 1 0,08% бесплатная 29

 


Используя две последние колонки таблицы, можно заметить, что в банковской сфере сравнительно мало (по сравнению со средним показателем по Рунету) используются некоммерческие CMS. Это всецело связано с безопасностью, ведь по утверждению менеджеров по продажам коммерческих движков, любую открытую CMS можно легко взломать! На самом деле, уязвимость сайта на Joomla или Drupal «со сторонними модулями» определяется отнюдь не типом используемой системы, а квалификацией того, кто разработал сторонний модуль. Однако презентационные сайты банков редко делаются на open source системах — значит, работает страшилка, которую рассказывают многие представители студий о том, что «бесплатные системы дырявые, но если купите у нас коммерческую коробку (ведь дорого — это обязательно хорошо) и сайт у вас будет очень защищенный».

И всё больше рынок захватывает 1C-Bitrix. Возможно, если бы Bitrix выпустил продукт именно для банков, это поспособствует бы его дальнейшему захвату банковского сегмента.


Онлайн-консультанты


Важным элементом сервиса банковского сайта может оказаться онлайн-консультант. Почему-то бесспорный лидер среди таких продуктов в Рунете — Jivosite, в банковском сегменте занимает лишь третье место. Обращает на себя внимание и общая нераспространенность таких систем.

 Название  Первые страницы  Доля от общего числа анализируемых сайтов (1217)  Доля от числа сайтов с какими-либо системами (560) 
Marva393,20%6,96%
Livetex211,73%3,75%
Jivosite90,74%1,61%
Redhelper40,33%0,71%
Reformal20,16%0,36%
WebConsult10,08%0,18%
P3Chat10,08%0,18%


Среди объяснений аномалии может быть готовность разработчиков доделывать свой продукт под заказ для конкретного банка.

Полностью исследование предполагается к публикации на Banki.ru.
| Нет комментариев
На общерунетовской конференции «Яблогер» в конце июля 2014 продюсер Openstat Леонид Филатов в докладе «До 3000 и больше» представил реализацию в Openstat определения посещаемости блогов по закону «О блогах и блогерах» (ФЗ-97). Точнее говоря, речь шла о «Методике определения количества пользователей сайта или страницы сайта в сети «Интернет» в сутки в целях реализации положений статьи 10.2 Федерального закона «Об информации, информационных технологиях и о защите информации»».




С одной стороны Openstat следует букве Методики, к примеру, ее пункту 5:
«В целях определения количества посещений сайтов... доступ к которым в течение суток составляет более трех тысяч пользователей.., под посещением пользователя понимается факт однократного в течение суток обращения уникального пользователя к сайту и (или) странице сайта в сети «Интернет», и включающий его полную загрузку в браузер пользователя, просмотр или иные пользовательские действия в течение не менее 15 секунд, за исключением обращения и загрузки технических страниц серверов».
То есть учет сессий длительностью 15 секунд уже внедрен в Openstat.
При этом в нашей системе происходит техничная фильтрация обращений роботов, принудительных открытий всплывающих окон и случайных открытий страниц самим пользователем.
Таким образом счетчики помогут отделить людей от ботов и вообще уменьшить посещаемость, учитываемую для присвоения статуса блогера. Это может быть крайне важно для тех, кто воспринимает новый закон как «ошейник для блогера».

В своем докладе Леонид Филатов демонстрирует учет статистики сайта на примере Карикатуры.ру — считать ли его приравниваемым к СМИ на основе анализа осмысленных посещений людьми и паразитного механического трафика. Удается доказать, что в таком «пограничном» случае, когда посещаемость варьируется от 2 до 5 тыс. ежедневных посетителей, сайт таковым не является.

Закон 97–ФЗ вступает в силу 1 августа.
| Нет комментариев
В течение одной недели мая 2014  Openstat представляет сразу три доклада на отраслевых конференциях на базе  нового отчета «Производительность» в своем интернет-счетчике.  Для получения данных используется специальный интерфейс разработчика — принятый 17 декабря 2012 Navigation Timing API. Этот API позволяет получать информацию о соединении браузера с сервером, получить которую традиционными средствами JavaScript нельзя. Интерфейс предоставляет доступ к набору из примерно полутора десятков параметров, характеризующих скорость загрузки и подготовки страницы к работе. Каждый из них — время в миллисекундах, прошедшее с начала эпохи до определенного события.
На его основе Openstat предоставил новый стандартный отчет, позволяющий выяснять производительность отдачи страниц в реальном времени и оценивать скорость сборки страниц вашего сайта для различных пользователей.


Меню производительность в Openstat

В том числе — в зависимости от браузеров, как десктопных, так и мобильных, с их дополнительным разделением по семействам и даже по версиям, а также — для операционных систем. Вот пример последнего отчета на примере крупного сайта Рунета.

Отчет Производительность в Openstat в зависимости от операционных систем


Счетчик Openstat опрашивает браузер о результатах загрузки и верстки каждой страницы; эти данные поступают в вычислительный кластер Openstat, где на их основе формируются отчеты (отдельно время начала отрисовки страницы пользователю и время загрузки всех ее элементов) .

Важно: отчеты группы «Производительность» показывают не синтетические данные о технических возможностях сервера по отгрузке исходника страниц, а реальные данные — за какое количество секунд настоящий пользователь получает в своем браузере сверстанную страницу, готовую к просмотру. Со всеми ее составляющими, включая медийные данные, рекламные блоки и прочие компоненты.

Новый отчет снабжен «Прямым эфиром». Он показывает данные без задержек — каждая открытая страница вашего сайта немедленно добавляется в динамическую картинку «Прямого эфира».

Что в подобных отчетах может быть интересно владельцам ресурсов и оптимизаторам?

  • Можно выделять резкие стабильные изменения (время ответа сервера увеличилось в 1,2 раза, время загрузки страницы уменьшилось в 1,5 раз).
  • Может быть интересна конкретная статистика по часам суток, особенно по времени загрузки страницы в часы пик.
  • И по регионам скорость тоже интересно посмотреть.
  • Однако наиболее важно, что этот отчет появился в счетчике, и значит можно оценить корреляцию времени ответа сервера и времени загрузки страницы с показателем отказов и конверсией.

Отдельно были проведены различные исследования на базе нового отчета.

23 мая 2014 на FailOver Conference — для москвичей и 27 мая на СПИК-2014 — для петербуржцев представлены исследования Openstat загрузки страниц в зависимости от использовании основных систем управления сайтом (для 38 популярных CMS).

Во втором случае доклад назывался «Добавка к конверсии с помощью метрик производительности в интернет-счетчиках».



30 мая 2014 на конференции «Хост-обзор»  продюсер Openstat Леонид Филатов прочитает доклад  «Сравнительный анализ клиентских баз хостинговых провайдеров». Там будет представлены исследования скорости загрузки страниц отдельно по ведущим  хостинг-провайдерам и по используемым ими CMS.

| Нет комментариев
Openstat  провел независимое исследование рынка интернет-рекламы по RTB-протоколу для конференции eTarget 2014, используя собственные возможности. Роботы-краулеры Openstat  индексируют весь Рунет. На проиндексированных страницах нами выделено около одной тысячи сигнатур (на сегодня 972 сигнатуры), соответствующих кодам рекламных сетей, средств веб-аналитики и т.д.

RTB представляет собой аукцион, на котором встречаются три стороны: рекламодатель, который решает, сколько он готов платить за показ рекламы конкретному пользователю, площадки, которые продаются на основе аукциона в реальном времени, и пользователь — а точнее его обезличенные данные — право показать рекламу которому и является объектом торга. Мы исследователи этот рынок со стороны площадок,  а точнее со стороны технологических компаний (SSP), торгующие рекламными позициями сайтов.
Площадка становится партнером SSP после заключения  договора и установки кода на страницы сайта. Таким образом, посредством своего краулера Openstat смог посчитать количество сайтов, содержащих этот код. В стандартную SSP-платформу принимаются лишь сайты, соответствующие правилам. Поэтому нам показалось уместнее обратиться непосредственно к участникам рынка, чтобы они предоставили код, который выдает SSP. И ряд компаний (не менее трети) пошли нам навстречу.

Однако для большинства игроков RTB-рынка (Adriver, Begun, Adfox, Google, практически для всех, кроме Яндекса)  все типы размещений проходят на одних и тех же кодах. То есть отделить по виду, типу кода, параметрам, имеем ли мы дело с кодом сайта, SSP, кодом одной из баннерных  сетей, коммерческим размещением агентства, невозможно. Можно отделить только коды, используемые для аудита (постклик/поствью) и сбора аудитории для ретаргетинга (да и то не всегда). Это объективное ограничение выбранного метода.

Что до кодов аукциона для рекламодателей (от соответствующих технологических компаний  — DSP), выдаваемых динамически (в Iframe), то мы (посредством нынешней версии краулера) их просто не можем посчитать. Поэтому таких оценок и не приводится.

Результаты исследования Openstat можно изучить в короткой презентации доклада.



| Нет комментариев
Предоставляемые счетчиками сервисы делятся по принципу группировки статистики. Некоторые из них собирают данные для одного домена (к примеру, Liveinternet и Рейтинг@Mail.ru). Другие счетчики собирают данные для клиента с определенным идентификатором, не пытаясь привязывать статистику к домену. Таковы Google Analytics / Universal Analytics, Яндекс.Метрика и Openstat.

В последние дни марта Openstat представил счетчик, который собирает статистику даже без регистрации, но хранит ее подоменно. Вебмастер может взять код такого универсального счетчика с начальной страницы openstat.ru и просто внедрить его в свой сайт. Счетчик может быть установлен как видимым (только логотип), так и невидимым (по умолчанию).
Это удобно, например, для компаний-разработчиков: еще на этапе разработки они внедрили счетчик в шаблон, сделали сайт, сдали заказчику; о веб-аналитике клиент задумывается вовсе не в первые недели, а через три месяца он захотел статистику, зарегистрировался на openstat и получил статистический отчет с самого начала существования сайта.
Или, допустим, владелец нескольких сайтов собирает суммарную статистику через привычный идентифицированный счетчик. Теперь он может, не трогая старый код Openstat, дополнительно поставить себе на каждый сайт универсальные счетчики и одновременно собирать статистику по каждому домену отдельно.

Однако задумывался такой счетчик для более сложных раскладов. Следите за новостями Openstat.
| Нет комментариев
По приглашению компании "Webcom Media" Openstat принял участие в конференции "Неделя Байнета" со своим отчетом об исследовании сайтов в зоне. BY. В него вошли ссылочное исследование по выявлению трендов поискового маркетинга, анализ некоторых нишевых рынков: интернет-рекламы, интернет-статистики, движков сайтов (CMS), популярные поисковые запросы, распространенность кнопок "Поделиться в соцсетях", распределение карт на сайт и онлайн-консультантов.

Большая часть полученных отчетов оформлено в графическом виде и представлено в презентации для "Недели Байнета".

 

Это не первое исследование национальной белорусской зоны Интернета от Openstat. В 2013 на конференции "Деловой Интернет" в Минске Openstat представил исследование технометрик сайтов этой доменной зоны.

Некоторые комментарии к презентации можно найти в неформальном отчете о "Неделе Байнета".
| Нет комментариев

В рамках одного из отраслевых исследований с помощью краулера Openstat возникла задача подсчета установок онлайн-чатов с опциями активных продаж или онлайн-консультирования.

В качестве побочных результатов исследований мы получили также распределение онлайн-консультантов по всем сайтам русскоязычной сети. В списке обхода было 5 693 176 сайтов. Из них серверы ответили для 4 257 147 доменов. Для этой выборки и приводится распределение за январь 2014.

Более 30 различных онлайн-консультантов используется в Рунете. Самый популярный из них по количеству установок в Рунете JivoSite занимает долю 35,4% по главным страницам (в случае чатов — это главный показатель) и 31,4% для внутренних страниц.

Чат первые страницы Чат вторые страницы
Jivosite 32589 Jivosite 21862
Livetex 15318 Livetex 10496
Siteheart 12778 Siteheart 10276
Redhelper 10797 Redhelper 8825
Disqus 8246 Disqus 8093
Reformal 6073 Reformal 5059
Zopim 2928 Zopim 2290
Cloudim 2029 Cloudim 1617
Olark 866 Olark 757
UserEcho 335 UserEcho 246
UserReport 60 UserReport 26

 

| Нет комментариев

Конкуренция Google и Яндекса стимулирует обе названные компании вкладываться в геосервисы с API для вебмастеров. Они позволяют делать информацию наглядной, создавать сервисы ежедневного использования или реализовывать собственные идеи вебмастеров.
Каких же геокарт больше в нашей сети?
Среди карт на сайт Яндекс побеждает со значительным отрывом.

Данные получены с помощью краулера Openstat с глубиной индексации на уровень вторых страниц — по состоянию на январь 2014. Всего было опрошено 5 693 тыс. сайтов. Из них так называемых «живых» оказалось 4 257 тыс. Менее 4% из них используют геокарты на внутренних страницах, то есть предположительно в их основном применении — в разделах «Как добраться», «Контакты».


Геокарты на сайтпервые страницыГеокарты на сайтвторые страницы
Яндекс.Карты46309Яндекс.Карты134429
ClustrMaps2647ClustrMaps2232
RevolverMaps808Google Maps915
Google Maps559RevolverMaps703

 

Разумеется, соотношение геокарт в мобильных устройствах может сильно отличаться от интернетовского.

| Нет комментариев
С началом нового 2014 года у Openstat появились данные о том, насколько в нашей сети распространен протокол HTTPS — примерно на одной трети сайтов.

Отчет получен в качестве побочных результатов мониторинга сайтов Рунета с помощью робота-паука (краулера) Openstat. Краулер ежемесячно индексирует Рунет с целью сбора данных для бизнес-аналитики.

В таблице представлены данные за январь 2014. Суммировались первые страницы сайтов с кодом состояния (ответа на HTTP-запрос) 200 (OK). Кроме исследования национальных доменных зон Рунета, Байнета и Уанета в список опрашиваемых ресурсов добавлены (выявленные посредством технологии DPI-логов) сайты других доменных зон, на которые массово ходят русскоязычные пользователи. Этой группе хостов соответствует графа результирующей таблицы «Другая».

Доменная зона HTTPS HTTP доля HTTPS (%)
ru 891 271 2 578 933 0,34
рф 86 614 229 981 0,37
su 18 098 51 043 0,35
ua 31 493 95 536 0,32
by 23 385 54 398 0,42
Другая 18 452 54 058 0,34

HTTPS — расширение протокола HTTP, поддерживающее шифрование. Данные, передаваемые по протоколу HTTP, «упаковываются» в криптографические протоколы SSL или TLS.
Протокол HTTPS был разработан компанией Netscape еще двадцать лет тому назад, однако именно в последнее время стал использоваться особенно широко, что связано и с ростом интернет-эквайринга, и с усилиями по защите частной жизни интернет-пользователей.

| Нет комментариев
Новый инструмент измерения Рунета определяет доли игроков рынка не по деньгам, не по показам рекламы, не по пользователям, а по количеству охваченных сервисами сайтов. Зато — с точностью до единиц для 3,5 млн. "живых" сайтов Рунета, Байнета и Уанета.

В докладе Openstat на Internet Business Conference Russia 2013 были показаны примеры бизнес-аналитики на основе новой системы мониторинга сайтов от Openstat.

Краулеры Openstat ежемесячно индексируют весь Рунет (главные и вторые страницы), для чего применяются отдельные ресурсы, не связанные с серверами счетчика OpenStat. На проиндексированных страницах первоначально были выделены 222 сигнатуры платежных систем, рекламных сетей, систем интернет-статистики и т.д. В результате обработки подобных данных составлены различные отраслевые отчеты. В декабре количество сигнатур было увеличено до 2200 — в основном для того, чтобы проверить влияние иностранных систем в Рунете...

Описанным методом весьма неплохо поверяется "поле" рынка интернет-рекламы, распространение CMS, географических карт, форм для оплаты электронными деньгами и банковской картой.

Приблизительно одна треть уже полученных отчетов было представлено в презентации Openstat на конференции IBC Russia.

 

Несколько слайдов этой презентации в процессе поиска выразительности и читабельности превратились в инфографику.

На 20-м слайде представлено соотношение сетей контекстной рекламы за пределами поисковых машин. Как известно, в поисковой рекламе Яндекс.Директ побеждает по количеству показов остальные системы, а вот в рекламных сетях впереди оказалась сеть Google Adsense. Причем тут она побеждает со значительным отрывом, так что дело, вероятно, не только в трудностях вступления в РСЯ, но и в существенно большей выгодности Adsense для вебмастеров.

На 24-м слайде представлено исследование ссылок в Рунете и некоторые тенденции поискового маркетинга по состоянию на 1 ноября 2013. Они выявлены OpenStat на основе статистики кластера в 110 млн. страниц. Такой большой кластер был выделен для получения сколько-нибудь достоверного отчета о взаимности ссылок. Для остальных отчетов хватило бы, пожалуй, выборки и в 1 млн. Но раз проведена такая большая работа, весьма интересно интерпретировать то, что получилось.
Видно, что:
  • среднее количество ссылок на страницу сохраняется примерно таким же, как в 2006-2007, когда в Рунете начали работу ссылочные биржи;
  • в подавляющем большинстве случаев ссылки ставятся на ключевые слова, вообще на текст, а SEO-методика безанкорного продвижения, возникшая в 2011 году, так и не овладела массами;
  • большинство ссылок в Рунете — индексируемые (без noflollow и noindex), то есть они или продажные, или поставленные "по старинке" (dofollow);
  • доля тематических ссылок (к примеру с женского ресурса на женский) достаточно велика, в том числе потому что они послушно ставятся вебмастерами, следуя трендам ранжирования Яндекса.
Появление в презентации 30-го слайда требует небольшой предыстории. Незадолго до конференции информационный повод к исследованиям CMS дало массовое выпадение из индекса Google сайтов на JSmart CMS. Это породило в кругах оптимизаторов определенные домыслы о том, что ранжирование сайта и в Google, и в Яндексе может зависеть от движка, на котором он сделан.
Eruditor Group сделала экспресс-исследование зависимости типа движка сайта от попадания под фильтры АГС. А OpenStat провел экспресс-исследование связи движка сайтов и попадания доменов в список подозрительных (malware, spam и т.п.). Результаты обоих исследований можно считать скорее отрицательными, поскольку в лидерах и там, и там закономерно оказались популярные CMS.

Исследования с помощью краулера OpenStat будут проводиться ежемесячно. Однако данные в масштабах всей сети более интересны отраслевой прессе или другим исследовательским компаниям. Для того чтобы подобная бизнес-аналитика (BI) на основании больших данных (big data) стала полезна самим игрокам интернет-рынка, уже в этом году OpenStat приступает в выработке формата отраслевых и нишевых отчетов на основе своего мониторинга сайтов.
| Нет комментариев