придуман новый протокол файлообмена
#1 OFFLINE
Отправлено 23 Апрель 2007 - 14:56
При создании SET исследователи учли то, что во многих мультимедийных файлах с одинаковым содержимым данные частично не совпадают. К примеру, музыкальные файлы могут отличаться разным написанием имен исполнителей и названий песен, а файлы с фильмами - дубляжом на разных языках. Протокол SET разбивает объемные файлы на маленькие фрагменты, анализирует их и ищет схожие части в других источниках, используя так называемую базу данных "отпечатков файлов". В результате, скорость скачивания значительно возрастает. К примеру, на закачивание трейлера кинофильма в 30 Мб требуется в три раза меньше времени, если обнаружены файлы, совпадающие хотя бы на 50%. А скорость скачивания МР3-файлов благодаря SET вырастает на 70%.
Возможно, совсем скоро технология SET появится в пиринговых клиентах и дистрибутивных сервисах. По крайней мере, на это очень надеются разработчики
#2 OFFLINE
Отправлено 23 Апрель 2007 - 15:45
Лучше Мула и Када - пока что-то трудно придумать...
Тем более это исходит от коммерческой компании...
#3 OFFLINE
Отправлено 23 Апрель 2007 - 15:52
#4 OFFLINE
Отправлено 23 Апрель 2007 - 16:11
Цитата
Правда, если речь про теги внутри mp3 например - тогда да...
#5 OFFLINE
Отправлено 23 Апрель 2007 - 20:44
#6 OFFLINE
Отправлено 23 Апрель 2007 - 20:58
Надо чтобы какой-то сервак (кластер типа гугловского?) выкачивал всё, что можно выкачать из Ослосети, сравнивал всё со всем и запоминал что на что похоже и какой чанк какого файла можно взять из другого файла... (про чанк условно)
К Мулу - это уже 100% не применимо...
Сообщение отредактировал mss73: 23 Апрель 2007 - 21:00
#7 OFFLINE
Отправлено 24 Апрель 2007 - 13:20
Я не программист, поэтому могу только высказать мысль как Я вижу это:)
Например, качается файл с маленьким количеством источников...мул автоматом по каким то параметрам(вот тут наверное и заключается главная сложность), ищет в сети(наверное лучше через КАД) схожий файл, сверяет похожие чанки по хешу(хешу чанка, а не полного файла) и добавляет в требуемый файл.
Для снижения нагрузки на сеть. можно было бы сделать эту функцию на файлы с количеством источников ниже N.
Если грамотно это написать, то дополнительная нагрузка должна быть небольшая. Пара лишних пакетов по КАД + сверка хешей чанков.
Понимаю, что это поверхностно и идеалистически, но это мой взгляд на проблему.
#8 OFFLINE
Отправлено 27 Апрель 2007 - 17:14
#9 OFFLINE
Отправлено 27 Апрель 2007 - 19:36
не кусков байт а чанков..т.е одинаковых хешей чанков(кусков файла).
#10 OFFLINE
Отправлено 01 Май 2007 - 02:37
Вообще алгоритмы передачи файлов, это будущее всей комуникации. Использование телеграфных проводов для достижения немыслимых скоростей.
#11 Гость_markscad_*
Отправлено 26 Май 2007 - 23:18
будущее телекоммуникации за беспроводной связью 4-го и 5-го поколений.
#12 OFFLINE
Отправлено 27 Май 2007 - 00:38
В будущем будут развиваться и широко применяться виды беспроводной связи, несомненно.
Но, к примеру, использование радиоволн для передачи информации, имеет больше условностей и ограничений чем проводные технологии.
Единственное за что можно ручаться с высокой вероятностью, это исключительно за "оптику" (оптические технологии передачи). Как следствие это дорогостоящие кабельные сети.
.... простите, а где Вы видели телеграфные столбы?
#13 OFFLINE
Отправлено 27 Май 2007 - 03:46
markscad (May 27 2007, 00:11) писал:
будущее телекоммуникации за беспроводной связью 4-го и 5-го поколений.
Не думаю, что в ближайшие годы настпуят такие скорости, для которых протянутый до дома оптический провод - станет устаревшим.
#14 OFFLINE
Отправлено 27 Май 2007 - 07:12
#15 Гость_Critter_*
Отправлено 01 Август 2007 - 11:00
А Я ДАВНО УЖЕ ОБДУМЫВАЛ ЭТУ ИДЕЮ!!!!.
Действительно, многие файлы в p2p сети отличаются только заголовками. Это относится и к mp3, и к PDF и даже к видео. И я давно подумывал о том, то нужно хэшировать не только весь файл, но и данные без лишних заголовков. В общем, ребята и примазавшаяся Intel-спонсор, идут в правильном направлении.
Особенно учитывая новое поколение распеределенных файловых систем P2P, где файлы храняться кусками на разных компах в зашифрованном виде.
#16 OFFLINE
Отправлено 01 Август 2007 - 12:27
#17 OFFLINE
Отправлено 01 Август 2007 - 12:47
Critter (Aug 1 2007, 12:00) писал:
А Я ДАВНО УЖЕ ОБДУМЫВАЛ ЭТУ ИДЕЮ!!!!.
Действительно, многие файлы в p2p сети отличаются только заголовками. Это относится и к mp3, и к PDF и даже к видео. И я давно подумывал о том, то нужно хэшировать не только весь файл, но и данные без лишних заголовков. В общем, ребята и примазавшаяся Intel-спонсор, идут в правильном направлении.
Особенно учитывая новое поколение распеределенных файловых систем P2P, где файлы храняться кусками на разных компах в зашифрованном виде.
#18 OFFLINE
Отправлено 01 Август 2007 - 14:33
хотя думаю, что разработчики учли такой опыт мулосети. Значит что то маленькое и сморщенное (изюминка) в этом проекте есть.
#19 Гость_Critter_*
Отправлено 01 Август 2007 - 14:44
Если изменить mp3 только вписав туда имя артиста и название песни, то что произойдет? Изменится только заголовок (!) файла. А сам mp3 (сжатые аудиоданные) не изменится! Но ХЭШ файла тоже изменится (хоть один байт, пусть даже из заголовка измени и все - хэш всего файла изменяется).
Но заголовок - это несколько сотен байт, а размер mp3 файла может быть до 150 мегабайт! И что, все заново качать весь файл, только потому, что человек изменил его заголовок? А если хешировать части файла, а не весь файл, то тогда это не нужно! Только первая или последняя чать (где находится заголовок) будет не совпадать с изначальным фалом, а все остальные части совпадают.
Точно так же с архивами, в которые добавляется файл, например, с рекламой варезного сайта. Бо'льшая часть архива не изменится!
А если в файл с фильмом добавят или вырежут из него кусок? То же самое - файл большей частью не изменится (если нормальным софтом вырезали).
Таким образом, если хешировать файл частями, можно для более чем 50% фалов резко увеличить количество источников в p2p сети.
Кстати, Kad в eMule по-моему части файлов и хеширует, только пока не используется это, а жаль - ведь возможность есть, нужно только чуть алгоритм изменить. Такого прорыва в скорости ни один мод eMule не сможет дать, как это усовершенствование!
#20 OFFLINE
Отправлено 01 Август 2007 - 15:05
ну кто как.. а ты знал что мул как раз и хеширует файл по частям?
сначала куски по 180 кб, а из этих кусков по 180 кб составляется 1 кусок в 9.38 мб.. и соответсвенно хеш его.
а из 9.38 составляется хеш всего файла.
Так и получается что если меняется только пара байт, то имея в наличии почти скачанный файл под номером 1, который почти похож на файл номер 2 и имея функцию import в муле, мы легко перекачиваем нужные куски в файл номер 2 и докачиваем те куски, которые разные.
Вот так то
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных