Статус:
Offline
Реєстрація: 24.11.2007
Повідом.: 139
Реєстрація: 24.11.2007
Повідом.: 139
Лапша из витых пар на моих ушах, помогите снять.
Суть вопроса: заказали мы сайт у одной малоуважаемой конторы, которую не буду называть, что-бы неназванным не было обидно. Программное обеспечение сайта должно собирать информацию с сайтов определенных газет, каталогизировать её, переводить в удобный формат (наверное текстовый) и предоставлять полученную и преобразованную информацию пользователям нашего сайта. Пользователь нашего сайта должен иметь возможность найти нужную информацию с помощью поисковой системы. Когда пришло время сдачи-приемки работы, выяснилось что одна газета "обрабатывается" 5-6 часов, что делает бессмысленной всю нашу затею с сайтом. На мой вопрос "почему так долго?", мне сказали, что процедура - следующая: компьютер, территориально расположенный у нас скачивает с сайта газеты очередной номер газеты, преобразовывает данные очередного номера, модифицирует всю базу данных этой газеты, и закачивает всю базу данных во всемирную сеть. Понятно, что с каждым новым номером база разростается всё больше и все больше времени потребуется для перекачки информации.
Мой первый вопрос к Вам: верный ли их алгоритм работы, и можно ли сделать по другому? Объем информации с одного номера газеты составляет единицы мегабайт. Такое количество информации должно перекачиваться за считанные секунды или даже доли секунды.
Впрос номер два: может ли кто из Вас сделать подобный сайт, истественно с "продвинутой" поисковой системой?
ЛЯ-ЛЯ по данной теме приветствуется. Конкретные предложения в ЛС.
Суть вопроса: заказали мы сайт у одной малоуважаемой конторы, которую не буду называть, что-бы неназванным не было обидно. Программное обеспечение сайта должно собирать информацию с сайтов определенных газет, каталогизировать её, переводить в удобный формат (наверное текстовый) и предоставлять полученную и преобразованную информацию пользователям нашего сайта. Пользователь нашего сайта должен иметь возможность найти нужную информацию с помощью поисковой системы. Когда пришло время сдачи-приемки работы, выяснилось что одна газета "обрабатывается" 5-6 часов, что делает бессмысленной всю нашу затею с сайтом. На мой вопрос "почему так долго?", мне сказали, что процедура - следующая: компьютер, территориально расположенный у нас скачивает с сайта газеты очередной номер газеты, преобразовывает данные очередного номера, модифицирует всю базу данных этой газеты, и закачивает всю базу данных во всемирную сеть. Понятно, что с каждым новым номером база разростается всё больше и все больше времени потребуется для перекачки информации.
Мой первый вопрос к Вам: верный ли их алгоритм работы, и можно ли сделать по другому? Объем информации с одного номера газеты составляет единицы мегабайт. Такое количество информации должно перекачиваться за считанные секунды или даже доли секунды.
Впрос номер два: может ли кто из Вас сделать подобный сайт, истественно с "продвинутой" поисковой системой?
ЛЯ-ЛЯ по данной теме приветствуется. Конкретные предложения в ЛС.