PHP, вылезает окно о сохранении страницы

Farior · 08.11.2010

PHP, вылезает окно о сохранении страницы

Возникла проблема при работе с большими объемами данных в php.
Мой скрипт парсит страницы определенного сайта и нужную информацию заносит в БД. Когда число страниц начинает превышать ~150 скрипт останавливается и вылазит следующее окошко с предложением открыть или сохранить << >>

Кто-нибудь с этим сталкивался?

...:::Alex:::... · 08.11.2010

и что внутри того файла?

Farior · 08.11.2010

ничего, называеться t00NwdDc.part, размер 0 байт

fusoyya · 08.11.2010

Возможно поможет

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

и желательно такие дела через cli пускать.

Farior · 08.11.2010

пробовал выставлять set_time_limit и аналог ini_set('max_execution_time',0) - безрезультатно.

fusoyya · 08.11.2010

Как я понял это у вас mod_php и php отваливается. Попробуйте отрефакторить скрипт. Возможно не хватает памяти. Сколько memory_limit стоит? Какая версия рнр?

Farior · 08.11.2010

PHP 5.3.2
memory_limit = 128 и больше ставил, не помогло

...:::Alex:::... · 08.11.2010

ob_flush(), flush() и выводи почаще что-нибудь в браузер.

razzr · 08.11.2010

попробуй распарсивать сайт порциями и поставь таймаут между запросами, может твой скрипт слишком часто обращается к серверу

dr_mousefly · 08.11.2010

я сталкивался с вылетами при многократном вызове функций из расширения PCRE. (preg_match, preg_replace, etc)
скорее всего, они что-то нехорошее делают с памятью, после чего php в конеце концов машет ручкой.
попробуй заменить на функции для регулярных выражений из mb_string.
работают они в сто раз медленнее, но зато надежно.

и еще журнал апача посмотри.

Farior · 08.11.2010

razzr сказав(ла):
попробуй распарсивать сайт порциями и поставь таймаут между запросами, может твой скрипт слишком часто обращается к серверу

Попробовал разбить на порции, но помогло только в том случае если каждый раз переваливать страницу с новыми исходными данными.
С таймаутами ситуация повторяется.

dr_mousefly сказав(ла):
я сталкивался с вылетами при многократном вызове функций из расширения PCRE. (preg_match, preg_replace, etc)
скорее всего, они что-то нехорошее делают с памятью, после чего php в конеце концов машет ручкой.
попробуй заменить на функции для регулярных выражений из mb_string.
работают они в сто раз медленнее, но зато надежно.

и еще журнал апача посмотри.

заменил на функцию из мультибайтной кодировки, тоже не помогло ((

Похоже все-таки придется думать над вариантом запуска скрипта по частям

dr_mousefly · 08.11.2010

журнал апача?

Farior · 08.11.2010

127.0.0.1 - - [08/Nov/2010:23:19:21 +0200] "GET /med/ HTTP/1.1" 200 -
выкидывает в конце

dr_mousefly · 08.11.2010

выкидывает что и в конце чего?
шли скрипт в личку, попробую прокатать у себя.

Farior · 08.11.2010

Как появляется диалоговое окно, в лог записывается эта строчка.

Проблему решил поэтапным разбором страниц, всем спасибо за советы.