Здравствуйте. Спасибо за ответ на предыдущий коммент. Назрел еще такой вопрос, возможно сталкивались. Если страница после прокрутки до конца, подгружает дополнительный контент, можно ли как-то симулировать на crawler эту прокрутку или ajax запрос, чтобы контент который после ajax запроса появляется, тоже спарсить. Спасибо.

P.S. Чувствую посыплются после этого комментария в мою сторону «г.внослова» в адрес моего «г.внокода» ибо «г.внокомментаторы» не понимают, что своё «г.вно» как минимум не пахнет.

Скажите, а используете ли вы proxy с этой библиотекой парсинга, если да то может уточните как именно?Спасибо.

SELECT (SELECT json_agg(row_to_json(agg_notes))
                        FROM (SELECT n.id, n.title, n.body, to_char(n.created_at, 'DD.MM.YYYY HH24:MI') as created
                              FROM data.notes n
                              WHERE n.user_id = u.id) agg_notes)    as notes,
                       (SELECT json_agg(row_to_json(agg_projects))
                        FROM (SELECT p.id,
                                     p.name,
                                     p.description,
                                     to_char(p.created_at, 'DD.MM.YYYY HH24:MI') as created,
                                     (SELECT true WHERE EXISTS(SELECT p1.id FROM data.projects p1 
                                       WHERE p1.id = p.id AND p1.report IS NOT NULL)) as report
                              FROM data.projects p
                              WHERE p.user_id = u.id) agg_projects) as projects,
                       (SELECT json_agg(row_to_json(agg_contacts))
                        FROM (SELECT c.id, c.message, c.ip, to_char(c.created_at, 'DD.MM.YYYY HH24:MI') as created
                              FROM data.contacts c
                              WHERE c.user_id = u.id) agg_contacts) as contacts
                FROM data.users u
                WHERE u.id = :user_id;

# Repository for mailings
class MailingRepository
  # Get all emails with LIMIT and OFFSET
  def self.emails_limit
    'SELECT
       e.id,
       e.email,
       e.status,
       e.action,
       e.updated_at::timestamp,
       (SELECT json_agg(row_to_json(agg_groups))
              FROM (SELECT eg.group_id
                    FROM mailing.emails_in_group eg
                    WHERE eg.email_id = e.id) agg_groups) as groups
     FROM mailing.emails e
     ORDER BY e.id DESC LIMIT :limit::int OFFSET :offset::int;'
  end
end

Вопрос собеседований - это вообще большая и грустная тема, особенно в отечественных реалиях Я тут подумал не плохая тема может у тебя в блоге может еще где то. Как ты думаешь?

Полностью согласен, но я не жалею что работал на CMS очень полезный опыт )

код на гите https://github.com/OlegTalyatKelpsh/news_list

Очень полезная статья, мне она очень пригодилась в плане понимания некоторых вещей общения программистов, спасибо!

Доброй ночи, как с вами связаться? очень нужен парсер на сайт с комиксами :(( в ручную уже лям картинок залил.... я не смог найти ваших контактов на сайте, пожалуйста напишите мне в скайп хотя бы если не сложно alexmaster9111 очень нужна ваша помощь в написании простенького парсера на на сайт что бы сканил пару тройку сайтов :)

С питоном не приходилось работать? Например django очень похож на laravel и переучиваться особо не надо, как мне кажется.