Дорвеи Парсинг текста под Пандору

[Amiramus]

И снова привет всем.
Как лучше парсить тексты под дорген Пандора: в один файл или раскидать по разным файлам (каждый тхт с текстами релевантными каждому конкретному ключу?
Или в принципе пофиг?

 

[AlisaK]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

 

[Amiramus]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

X-parser
Спасибо за ответ.
А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

 

[Octo Browser]

Octo Browser — антидетект браузер, подходящий для любого вида маркетинга: арбитраж трафика, партнерский маркетинг, веб-скрейпинг, SMM, ORM и многое другое.

Преимущества нашего браузера:

Подмены выполняются на уровне браузерного ядра — максимальная защита от идентификации устройства
Высокие показатели стабильности работы — аптайм составляет 99,995%
Оперативное обновление ядра до актуальных версий
Пользовательские данные хранятся на европейских облачных серверах и зашифрованы по стандарту AES
Возможность экспорта профилей в файл, который можно передавать другому пользователю браузера
Безошибочно проходит проверки Pixelscan, BrowserLeaks, CreepJS

4 дня пробной подписки BASE по промокоду: PIRATEHUB

Подробнее о сервисе

 

[rippptop]

Или чем больше тем лучше

текстовки очень много нужно! но тематической!

 

[AlisaK]

А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

вообще ваш первоначальный вопрос был в том что один текстовик на один какой то ключ, а теперь почему то вы решили по одному ключу парсить нн-ое количество статей. это вот и не то к чему надо стремиться, я делаю парсинг скрапбоксом там по умолчанию каждый ключ - свой текстовый файл и всё, пусть там нет логической последовательности, но это же вы делаете под доры и при генерации пандорой вновь будет задействован рандом, так что в итоге лишние манипуляции и не более

 

[AlisaK]

текстовки очень много нужно! но тематической!

сейчас в основном в кулуарах обсуждают не парсинг контента, а его генерацию при помощи тех же нейронных сетей