Парсер товаров из других магазинов

  • Автор темы yura_co
  • Дата начала
yura_co

yura_co

master
#1
По моим наблюдениям многие ищут как первоначально наполнить магазин ,но парсеров которые интуитивно понятны для пользователя почти нету.
Один из парсеров которым пользуются люди это Ливимпорт, но его стоимость многих пугает. многие ищут зануленую версию данного парсера и не скрою я сам искал её но увы, нула данного модуля просто нету, и энтузиаста который бы занулил данный модуль не нашлось.
Возможно будет интересен данный вопрос под создание складчины на написание нового модуля а возможно кто предложит парсер который удовлетворит большинство пожеланий и будет интуитивно понятен начинающему..
Предлагайте свои решения, как Вы парсите товары и как наполняете или наполняли магазин изначально.
 
S

SlaSoft

Maestro
#2
Дело не в энтузиазизЬме
Парсеры строятся, в осноdм на xpath

Или на своих собственных автоматах, которые в общем-то, в конечном итоге, превращаются в тот же xpath

Когда, пока молодой, написал простенький парсер, а потом, начинаешь его поддерживать, то он и превращается в монстров
И стоимость повтора, практически равна стоисоти разработки +поддержки, т.е. сотни человеко часов

Условно - стартовая цена - от 5к уе.
 
ALarik

ALarik

expert
#3
Сейчас занимаюсь написанием парсера под 1.5, на конкретные сайты, хотел сперва написать "универсальный", но как выразился коллега - они потом разрастаются и поддержка - дело утомительное, вот написать базовый (однопоточник) на пыхе - думаю можно, а уже под него - отдельные конфиги на отдельные сайты - это оптимальный вариант, как по мне.
 
ТС
yura_co

yura_co

master
Топик Стартер #4
@ALarik, Интересный вариант, проблема потом в конфигах, в основном нужны парсеры для первоначального наполнения и, я думаю, народ пугается отдельных конфигов, такие конфиги подойдут тем кто постоянно обновляет наличие и цены с сайтов доноров и не практичны для старта магазина, особенно когда человек не совсем определился с какого ИМ спарсить товары, вот тут и нужен "универсал"
@SlaSoft, в отношении энтузиазма я имел ввиду не написание нового или повтор а снятие с кубика или деобфускация, в случае с наведенным примером именно деобфускация из-под якпро
 
ALarik

ALarik

expert
#5
@yura_co, дело в том, что написать ядро парсера - одно дело, где сама логика даже от версии ОС может не зависеть, а вот смена постоянных обновления на доноре - вот это трабл, и потому тут конфиг свежий скачал - и обновил данные. а сам парсер как был - так и есть. Касательно деобфускации, то это дело муторное, смотрел я на тот якпро, там не столько он кодирует, сколько мусора генерирует, если игра стоит свеч, то вполне можно найти спеца на деобфускацию, главное собрать команду единомышленников, скинуться и...
 
ТС
yura_co

yura_co

master
Топик Стартер #7
@ALarik, Такс, уже интересно глянуть на интерфейс парсера
Это что то тапа SimplePars ? Или я не правильно понял?
 
ALarik

ALarik

expert
#8
Глянул в код парсера, того что скинул, думал снова я велосипед решил изобретать, но... писал какой то начинающий, по комментариям видно:
Юный кодер


мой же парсинг построен на simple_html_dom и разбирает структуру по селекторно, пока не могу показать что я пишу, это во первых - на заказ, во вторых - там бюджетно и все будет заточено под конкретные сайты, но идея мне понравилась, будем думать с парсингом, возможно через складчину можно будет организоваться.
 
ТС
yura_co

yura_co

master
Топик Стартер #9
@SlaSoft, К сожалению такова жизнь, но самое обидное, это когда воруют а потом выдают за своё и я думаю каждый кто чего нить делает сталкивается с такими проблемами но это уже отдельная история
 
ТС
yura_co

yura_co

master
Топик Стартер #11
Да, подумав над тем что имею, пришел к мнению что я готов участвовать в складчине парсера под брокарт...
 
nuller

nuller

TeamLead
#12
хорошая штука, парсер, только его надо постоянно либо поддерживать - обновляя, либо добавлять сторонние плагины - как отдельные настройки для парсинга конкретных сайтов и то, их надо постоянно корректировать, если парсинг идёт по селекторам DOM документа после каждого изменения капитального в верстке на доноре.
 
Твой e-mail адрес не будет опубликован. Он нужен для подтверждения сообщения !
Вверх