Перейти к содержимому



- - - - -

придуман новый протокол файлообмена


  • Вы не можете ответить в тему
  • Вы не можете создать новую тему
Сообщений в теме: 20

#1 OFFLINE   areon

 

    Свой

  • Постоянные посетители
  • PipPipPipPipPipPip
  • сообщений: 173
    Последний визит:
    18 Апр 2011 12:08
  • Пол:Мужчина
  • Откуда:Ашдод
 

Отправлено 23 Апрель 2007 - 06:56

Команда исследователей из Университета Карнеги-Меллона, Университета Пердью и корпорации Intel создали новую технологию, которая поможет увеличить скорость передачи файлов по пиринговым сетям на 30-70%. Новый протокол называется Similarity-Enhanced Transfer (SET), сообщает Ars Technica. Разработка была продемонстрирована на прошлой неделе на четвертом симпозиуме Networked Systems Design and Implementation.

При создании SET исследователи учли то, что во многих мультимедийных файлах с одинаковым содержимым данные частично не совпадают. К примеру, музыкальные файлы могут отличаться разным написанием имен исполнителей и названий песен, а файлы с фильмами - дубляжом на разных языках. Протокол SET разбивает объемные файлы на маленькие фрагменты, анализирует их и ищет схожие части в других источниках, используя так называемую базу данных "отпечатков файлов". В результате, скорость скачивания значительно возрастает. К примеру, на закачивание трейлера кинофильма в 30 Мб требуется в три раза меньше времени, если обнаружены файлы, совпадающие хотя бы на 50%. А скорость скачивания МР3-файлов благодаря SET вырастает на 70%.

Возможно, совсем скоро технология SET появится в пиринговых клиентах и дистрибутивных сервисах. По крайней мере, на это очень надеются разработчики

#2 OFFLINE   mss73

 

    Руки прочь от ослика!

  • Постоянные посетители
  • PipPipPipPipPipPipPipPipPipPip
  • сообщений: 1 750
    Последний визит:
    Сегодня, 05:40
  • Пол:Мужчина
  • Откуда:Москва-Якутск
 

Отправлено 23 Апрель 2007 - 07:45

Ничего хорошего из этого не выйдет... новость так и останется новостью...
Лучше Мула и Када - пока что-то трудно придумать...
Тем более это исходит от коммерческой компании...

#3 OFFLINE   Gadget

 

    Хранитель ослиной тропы

  • [Супер Модератор]
  • PipPipPipPipPipPipPipPipPipPipPipPip
  • сообщений: 10 861
    Последний визит:
    12 Мар 2018 01:57
  • Пол:Мужчина
  • Откуда:Таллинн
 

Отправлено 23 Апрель 2007 - 07:52

идея конечно хорошая, то, чего так не хватало в муле. Но, думаю, что если будут делать отдельную сеть, то войдет в массы она не скоро, если же эту технологию внедрят в мула...будет неплохо.

#4 OFFLINE   mss73

 

    Руки прочь от ослика!

  • Постоянные посетители
  • PipPipPipPipPipPipPipPipPipPip
  • сообщений: 1 750
    Последний визит:
    Сегодня, 05:40
  • Пол:Мужчина
  • Откуда:Москва-Якутск
 

Отправлено 23 Апрель 2007 - 08:11

Это явно очередная попытка заработать деньги... ибо некие ахренительные вычислительные мощности должны быть выделены под анализ содержимого файлов и всё такое... а кто этим будет в ослосети заниматься????

Цитата

К примеру, музыкальные файлы могут отличаться разным написанием имен исполнителей и названий песен
А это вообще для ослосети - частично реализовано... по крайней мере именав файлов значения не имеют...

Правда, если речь про теги внутри mp3 например - тогда да...

#5 OFFLINE   Gadget

 

    Хранитель ослиной тропы

  • [Супер Модератор]
  • PipPipPipPipPipPipPipPipPipPipPipPip
  • сообщений: 10 861
    Последний визит:
    12 Мар 2018 01:57
  • Пол:Мужчина
  • Откуда:Таллинн
 

Отправлено 23 Апрель 2007 - 12:44

я про то, что если эта система зарекомендует себя как работающая, и кто то из моддеров или оф. девелоперов все же воплотит это в муле, можно было бы решить бааааальшую проблему в мулосети.

#6 OFFLINE   mss73

 

    Руки прочь от ослика!

  • Постоянные посетители
  • PipPipPipPipPipPipPipPipPipPip
  • сообщений: 1 750
    Последний визит:
    Сегодня, 05:40
  • Пол:Мужчина
  • Откуда:Москва-Якутск
 

Отправлено 23 Апрель 2007 - 12:58

Ты не понял слова "ахренительные"...  :help:

Надо чтобы какой-то сервак (кластер типа гугловского?) выкачивал всё, что можно выкачать из Ослосети, сравнивал всё со всем и запоминал что на что похоже и какой чанк какого файла можно взять из другого файла... (про чанк условно)

К Мулу - это уже 100% не применимо...

Сообщение отредактировал mss73: 23 Апрель 2007 - 13:00


#7 OFFLINE   Gadget

 

    Хранитель ослиной тропы

  • [Супер Модератор]
  • PipPipPipPipPipPipPipPipPipPipPipPip
  • сообщений: 10 861
    Последний визит:
    12 Мар 2018 01:57
  • Пол:Мужчина
  • Откуда:Таллинн
 

Отправлено 24 Апрель 2007 - 05:20

ну думаю, что все сравнивать не нужно, это лишняя трата энергоресурсов. Само собой, что для этого не нужен некий центральный сервер, происходить будет на компьютере пользователя, точнее С компьютера пользователя.
Я не программист, поэтому могу только высказать мысль как Я вижу это:)
Например, качается файл с маленьким количеством источников...мул автоматом по каким то параметрам(вот тут наверное и заключается главная сложность), ищет в сети(наверное лучше через КАД) схожий файл, сверяет похожие чанки по хешу(хешу чанка, а не полного файла) и добавляет в требуемый файл.
Для снижения нагрузки на сеть. можно было бы сделать эту функцию на файлы с количеством источников ниже N.
Если грамотно это написать, то дополнительная нагрузка должна быть небольшая. Пара лишних пакетов по КАД + сверка хешей чанков.
Понимаю, что это поверхностно и идеалистически, но это мой взгляд на проблему.

#8 OFFLINE   kisnik

 

    Постоянный

  • Постоянные посетители
  • PipPipPipPipPip
  • сообщений: 84
    Последний визит:
    17 Май 2013 11:09
  • Пол:Мужчина
  • Откуда:Сибирь
 

Отправлено 27 Апрель 2007 - 09:14

Мое мнение очень проблемно. я старый программер. Это пользователь должен выставлять уровень доверительной мнформации. Делить опять доверительно источники и т.п. Я долго искал программу для вылавливания фото одного места по содержимому снимка. Нашел - классная прога. Но вот там именно эти параметры и важны. А одинаковых кусков байт найти можно очень много. :-)

#9 OFFLINE   Gadget

 

    Хранитель ослиной тропы

  • [Супер Модератор]
  • PipPipPipPipPipPipPipPipPipPipPipPip
  • сообщений: 10 861
    Последний визит:
    12 Мар 2018 01:57
  • Пол:Мужчина
  • Откуда:Таллинн
 

Отправлено 27 Апрель 2007 - 11:36

kisnik
не кусков байт а чанков..т.е одинаковых хешей чанков(кусков файла).

#10 OFFLINE   serio

 

    |||----------------->>>

  • Постоянные посетители
  • PipPipPipPipPipPipPipPipPipPip
  • сообщений: 1 377
    Последний визит:
    12 Ноя 2010 07:24
 

Отправлено 30 Апрель 2007 - 18:37

Насколько я понял анонс, изменится полностью алгоритм передачи файлов P2P в следствии чего и будет возможен поиск кусков по хэшу. И скорее всего к мулу (в сегоднешнем виде) это вообще не будет применимо. Не стоит однако забывать, что имея хэш хотябы одного чанка копирайта, можно оштрафовать милионы пользователей.
Вообще алгоритмы передачи файлов, это будущее всей комуникации. Использование телеграфных проводов для достижения немыслимых скоростей.

#11 Гость_markscad_*

 
  • Пришельцы
 

Отправлено 26 Май 2007 - 15:18

телеграфных проводов - вряд ли.
будущее телекоммуникации за беспроводной связью 4-го и 5-го поколений.

#12 OFFLINE   Pilot_Anderson

 

    Долгожитель

  • [eMule-Rus]
  • сообщений: 1 706
    Последний визит:
  • Пол:Мужчина
  • Откуда:Санкт-Петербург, Россия
 

Отправлено 26 Май 2007 - 16:38

Мое мнение, что внедрение подобного (в т.ч комерческого ПО) нанесет в будущем вред развитию и эксплуатации существующей PTP сети и ее пользователям.

В будущем будут развиваться и широко применяться виды беспроводной связи, несомненно.
Но, к примеру, использование радиоволн для передачи информации, имеет больше условностей и ограничений чем проводные технологии.
Единственное за что можно ручаться с высокой вероятностью, это исключительно за "оптику" (оптические технологии передачи). Как следствие это дорогостоящие кабельные сети.
.... простите, а где Вы видели телеграфные столбы?

#13 OFFLINE   mss73

 

    Руки прочь от ослика!

  • Постоянные посетители
  • PipPipPipPipPipPipPipPipPipPip
  • сообщений: 1 750
    Последний визит:
    25 Окт 2014 16:15
  • Пол:Мужчина
  • Откуда:Москва-Якутск
 

Отправлено 26 Май 2007 - 19:46

Просмотр сообщенияmarkscad (May 27 2007, 00:11) писал:

телеграфных проводов - вряд ли.
будущее телекоммуникации за беспроводной связью 4-го и 5-го поколений.
На данный момент у меня луший провайдер в России. Провода были протянуты 3 года назад. Скорости - такой нигде нету.
Не думаю, что в ближайшие годы настпуят такие скорости, для которых протянутый до дома оптический провод - станет устаревшим.

#14 OFFLINE   drBatty

 

    Долгожитель

  • Юзвери
  • PipPipPipPipPipPipPipPipPipPip
  • сообщений: 1 023
    Последний визит:
    Сегодня, 05:40
  • Пол:Мужчина
 

Отправлено 26 Май 2007 - 23:12

ИМХО фигня это всё. В упакованых файлах нельзя найти ничего общего, даже если с виду эти файлы одинаковые(например две экранки одного и того же фильма и одинакого качества) Возможно это может пригодится для распостронения РАСПАКОВАНЫХ исходных текстов приграмм(разных версий). Все файлы в ослосети сжатые(avi, mp3 итд).

#15 Гость_Critter_*

 
  • Пришельцы
 

Отправлено 01 Август 2007 - 03:00

ОППА!
А Я ДАВНО УЖЕ ОБДУМЫВАЛ ЭТУ ИДЕЮ!!!!.
Действительно, многие файлы в p2p сети отличаются только заголовками. Это относится и к mp3, и к PDF и даже к видео.  И я давно подумывал о том, то нужно хэшировать не только весь файл, но и данные без лишних заголовков. В общем, ребята и примазавшаяся Intel-спонсор, идут в правильном направлении.
Особенно учитывая новое поколение распеределенных файловых систем P2P, где файлы храняться кусками на разных компах в зашифрованном виде.

#16 OFFLINE   Gadget

 

    Хранитель ослиной тропы

  • [Супер Модератор]
  • PipPipPipPipPipPipPipPipPipPipPipPip
  • сообщений: 10 861
    Последний визит:
    02 Май 2010 14:30
  • Пол:Мужчина
  • Откуда:Таллинн
 

Отправлено 01 Август 2007 - 04:27

файлы то храняться как раз не кусками:) а целыми

#17 OFFLINE   drBatty

 

    Долгожитель

  • Юзвери
  • PipPipPipPipPipPipPipPipPipPip
  • сообщений: 1 023
    Последний визит:
  • Пол:Мужчина
 

Отправлено 01 Август 2007 - 04:47

Просмотр сообщенияCritter (Aug 1 2007, 12:00) писал:

ОППА!
А Я ДАВНО УЖЕ ОБДУМЫВАЛ ЭТУ ИДЕЮ!!!!.
Действительно, многие файлы в p2p сети отличаются только заголовками. Это относится и к mp3, и к PDF и даже к видео.  И я давно подумывал о том, то нужно хэшировать не только весь файл, но и данные без лишних заголовков. В общем, ребята и примазавшаяся Intel-спонсор, идут в правильном направлении.
Особенно учитывая новое поколение распеределенных файловых систем P2P, где файлы храняться кусками на разных компах в зашифрованном виде.
Не поможет. Сам попробуй сжать один и тот же файл с разными настройками - Ничего общего не найдёшь. Или в несжатом ваве хоть один бит измени, наслух ничего не изменится, но после кодирования в mp3 все байты будут другими(после изменённого бита).

#18 OFFLINE   Gadget

 

    Хранитель ослиной тропы

  • [Супер Модератор]
  • PipPipPipPipPipPipPipPipPipPipPipPip
  • сообщений: 10 861
    Последний визит:
    12 Мар 2018 01:57
  • Пол:Мужчина
  • Откуда:Таллинн
 

Отправлено 01 Август 2007 - 06:33

согласен с drBatty...на все 100%

хотя думаю, что разработчики учли такой опыт мулосети. Значит что то маленькое и сморщенное (изюминка) в этом проекте есть.

#19 Гость_Critter_*

 
  • Пришельцы
 

Отправлено 01 Август 2007 - 06:44

Хо-хо-хо. Ничего вы не понимаете в файлах, ребята...
Если изменить mp3 только вписав туда имя артиста и название песни, то что произойдет? Изменится только заголовок (!) файла.  А сам mp3 (сжатые аудиоданные) не изменится! Но ХЭШ файла тоже изменится (хоть один байт, пусть даже из заголовка измени и все - хэш всего файла изменяется).
Но заголовок - это несколько сотен байт, а размер mp3 файла может быть до 150 мегабайт! И что, все заново качать весь файл, только потому, что человек изменил его заголовок? А если хешировать части файла, а не весь файл, то тогда это не нужно! Только первая или последняя чать (где находится заголовок) будет не совпадать с изначальным фалом, а все остальные части совпадают.
Точно так же с архивами, в которые добавляется файл, например, с рекламой варезного сайта. Бо'льшая часть архива не изменится!  
А если в файл с фильмом добавят или вырежут из него кусок? То же самое - файл большей частью не изменится (если нормальным софтом вырезали).

Таким образом, если хешировать файл частями, можно для более чем 50% фалов резко увеличить количество источников в p2p сети.
Кстати, Kad в eMule по-моему части файлов и хеширует, только пока не используется это, а жаль - ведь возможность есть, нужно только чуть алгоритм изменить. Такого прорыва в скорости ни один мод eMule не сможет дать, как это усовершенствование!

#20 OFFLINE   Gadget

 

    Хранитель ослиной тропы

  • [Супер Модератор]
  • PipPipPipPipPipPipPipPipPipPipPipPip
  • сообщений: 10 861
    Последний визит:
    02 Май 2010 14:30
  • Пол:Мужчина
  • Откуда:Таллинн
 

Отправлено 01 Август 2007 - 07:05

Critter
ну кто как.. а ты знал что мул как раз и хеширует файл по частям?
сначала куски по 180 кб, а из этих кусков по 180 кб составляется 1 кусок в 9.38 мб.. и соответсвенно хеш его.
а из 9.38 составляется хеш всего файла.
Так и получается что если меняется только пара байт, то имея в наличии почти скачанный файл под номером 1, который почти похож на файл номер 2 и имея функцию import в муле, мы легко перекачиваем нужные куски в файл номер 2 и докачиваем те куски, которые разные.

Вот так то Изображение





Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных