Информация о пользователе

Ник: Andrij
Страна: Украина
Статус: Активен
С нами с:
22.10.2017 01:02
Лайки
Лайки: +1
Лайки
+1
Дизлайки
0
Я лайкал: +4
Я лайкал
+4
Я дизлайкал
0
Комментарии
Комментировал: 4
Посты
3
Комментарии
1
Ответы: 4
Посты
0
Комментарии
4
Laravel 5.5 и парсинг. Что такое краулер (crawler).
Andrij писал(а):
Здравствуйте. Спасибо за ответ на предыдущий коммент. Назрел еще такой вопрос, возможно сталкивались. Если страница после прокрутки до конца, подгружает дополнительный контент, можно ли как-то симулировать на crawler эту прокрутку или ajax запрос, чтобы контент который после ajax запроса появляется, тоже спарсить. Спасибо.
Дело в том, что все JS обрабатываются на стороне клиента. Поэтому стандартным способом подгружаемый контент спарсить не получится. Именно по этой причине у одностраничных сайтов (SPA) проблемы с индексацией поисковиками. Что можно сделать с этим. Можно зайти на сайт и в панели разработчика посмотреть, какой запрос убегает на сервер для получения порции свежих данных. И уже после понимания этого момента делать парсинг не фронт стороны сайта, а именно сервера, скармливая ему запросы, как вроде отрабатывает прокрутка на фронте. Но это в том случае, если запросы отдаются GET запросом.
Laravel 5.5 и парсинг. Что такое краулер (crawler).
Andrij писал(а):
Скажите, а используете ли вы proxy с этой библиотекой парсинга, если да то может уточните как именно?Спасибо.
Здравствуйте. Прокси не использовал. Все запросы напрямую с сервера происходили. Чтобы не попасть в бан, нужно соблюдать тайминги при парсинге. Как заставить работать скрипты через прокси, то не изучал этот вопрос. Скорее всего, можно как-то через curl настроить этот процесс. Но придется приличную обертку писать, для постоянной смены проксиков, плюс проверять пинги, чтобы прокси не тормозили.
Успехи и неудачи при создании своего проекта (стартапа).
Andrij писал(а):
Было бы еще интересно узнать детальнее какие именно проекты вы делали, что там не получилось что получилось.
Были проекты по недвижимости. Проблема в том, что огромная конкуренция, много крупных игроков на рынке, с большими деньгами, и большая сложность продвижения проекта по коммерческим ключевикам. Короче нужны  реально колоссальные деньги. Была социалка. На фоне Вконтакте, ФБ и ряда других крупных аналогов, она просто была никому не интересна. Даже если она и неплоха, то люди уже годами сидят на насиженных местах и никуда не хотят переходить. Было пару развлекательных и новостных порталов. Главная проблема - это качественный и своевременный контент.

А вообще сложность не в том, чтобы создать проект, а в том, чтобы его раскрутить, нужны по истине огромные финансы.
Успехи и неудачи при создании своего проекта (стартапа).
Andrij писал(а):
Спасибо, интересная статья. Тоже делаю свой проект уже около года (это правда как хобби наверно уже стало но я еще надеюсь что со временем можно будет на нем и зарабатывать) ) слышал что в Силиконовой долине по этому поводу говорят типа статистика "Один из 10 проектов обычно бывает успешен" Так что сколько там еще осталось тебе Джон сделать до десятка? )
Я тоже все еще надеюсь, но уже очень осторожно подхожу к трате своего времени и подбору идей. Чуть позже напишу аналитику о том, как я вижу путь подбора идеи.