Моё разочарование в софте - С миру по нитке.. - eMule-Rus.Net Форум муловодов

Перейти к содержимому



- - - - -

Моё разочарование в софте


  • Вы не можете ответить в тему
  • Вы не можете создать новую тему
Сообщений в теме: 11

#1 OFFLINE   Mitrich

 

    Знаток

  • Модераторы
  • сообщений: 4 901
    Последний визит:
    Вчера, 21:33
  • Пол:Мужчина
 

Отправлено 22 Сентябрь 2018 - 11:51

МОЁ РАЗОЧАРОВАНИЕ В СОФТЕ

Изображение

Я занимаюсь программированием уже 15 лет. Но в последнее время при разработке не принято думать об эффективности, простоте и совершенстве: вплоть до того, что мне становится грустно за свою карьеру и за IT-отрасль в целом.
Изображение

Суть разработки программного обеспечения
— Нужно проделать 500 отверстий в стене, так что я сконструировал автоматическую дрель. В ней используются элегантные точные шестерни для непрерывной регулировки скорости и крутящего момента по мере необходимости.
— Отлично, у неё идеальный вес. Загрузим 500 таких дрелей в пушку, которые мы сделали, и выстрелим в стену.

Для примера, современные автомобили работают, скажем, на 98% от того, что физически позволяет нынешняя конструкция двигателя. Современная архитектура использует точно рассчитанное количество материала, чтобы выполнять свою функцию и оставаться в безопасности в данных условиях. Все самолёты сошлись к оптимальному размеру/форме/нагрузке и в основном выглядят одинаково.

Только в программном обеспечении считается нормальным, если программа работает на уровне 1% или даже 0,01% от возможной производительности. Ни у кого вроде нет возражений. Люди даже гордятся, насколько неэффективно работает программа, типа «зачем беспокоиться, компьютеры достаточно быстрые»:

@tveastman: Я каждый день запускаю программу на Python, она выполняется за 1,5 секунды. Я потратил шесть часов и переписал её на Rust, теперь она выполняется за 0,06 секунды. Это ускорение означает, что моё время окупится через 41 год, 24 дня :-)

Наверное, вы слышали такую мантру: «Время программиста дороже времени компьютера». Это означает, что мы тратим компьютерное время в беспрецедентных масштабах. Вы бы купили машину с расходом 100 литров на 100 километров? Как насчёт 1000 литров? С компьютерами такое происходит постоянно.

Всё невыносимо медленно

Оглянитесь вокруг: портативные компьютеры в тысячи раз мощнее тех, что привели человека на Луну. Тем не менее, каждый второй сайт не может обеспечить плавную прокрутку страницы на 60 FPS на последнем топовом MacBook Pro. Я могу комфортно играть в игры, смотреть видео 4K, но не прокручивать веб-страницы! Это нормально?

Почтовому приложению Google Inbox в браузере Chrome от той же Google, требуется 13 секунд, чтобы открыть письмо среднего размера.

Он ещё анимирует пустые белые формы вместо того, чтобы показать их содержимое, потому что это единственный способ анимировать что-то на веб-странице с приличной производительностью. Нет, не 60 FPS, а скорее «настолько быстро, насколько возможно на этой странице». С нетерпением жду, что же веб-сообщество предложит, когда дисплеи 120 Гц станут мейнстримом. Они еле справляются с 60 Гц.

Обновление Windows 10 занимает 30 минут. Что можно делать так долго? Этого времени достаточно, чтобы полностью отформатировать мой SSD-накопитель, загрузить свежий билд и установить его примерно 5 раз подряд.

Изображение

Павел Фатин: Набор текста в редакторе — относительно простой процесс, поэтому даже 286 могли обеспечить довольно плавный процесс набора.

В современных текстовых редакторах задержка при наборе больше, чем в 42-летнем Emacs. Текстовые редакторы! Что может быть проще? На каждое нажатие клавиши, нужно всего лишь обновить крошечную прямоугольную область на экране, а современные текстовые редакторы не могут сделать это за 16 мс. А это много времени. МНОГО. 3D-игра заполняет экран сотнями тысяч (!!!) полигонов за те же 16 мс, а также обрабатывает ввод, пересчитывает мир и динамически загружает/выгружает ресурсы. Как так?

Тенденция такова, что софт вовсе не становится быстрее и функциональнее. Мы получаем более быстрое оборудование, на котором софт с теми же функциями ворочается медленнее, чем раньше. Всё работает намного медленнее максимальной скорости. Никогда не задумывались, почему ваш телефон загружается от 30 до 60 секунд? Почему он не может загрузиться, скажем, за одну секунду? Здесь нет никаких физических ограничений. Лично мне бы такое понравилось. Хочется, чтобы разработчики достигли предела, используя каждый бит для производительности.

Всё ОГРОМНОЕ

И ещё это раздутие. Веб-приложения могут открываться в десять раз быстрее, если просто заблокировать рекламу. Google умоляет всех прекратить тормоза с помощью инициативы AMP — технического решения, для которого не нужны какие-либо технологии, просто немного здравого смысла. Если удалить раздувание, интернет станет работать на сумасшедшей скорости. Неужели это сложно понять?

Система Android без приложений занимает почти 6 ГБ. Просто задумайтесь на секунду, насколько неприлично огромное это число. Что там, фильмы в HD-качестве? Думаю, в основном код: ядро, драйверы. Ещё какие-то ресурсы, конечно, но они не могут быть такими большими. Сколько же драйверов вам нужно для телефона?
Изображение


Windows 95 занимала 30 МБ. Сегодня у нас есть веб-страницы тяжелее, чем эта ОС! Windows 10 уже 4 ГБ, то есть в 133 раза больше. Но разве она в 133 раза лучше? Я имею в виду, функционально они практически одинаковы. Да, у нас появилась Кортана, но я сомневаюсь, что она весит 3970 МБ. Но это Windows 10, неужели Android должен быть ещё в полтора раза больше?

Приложение клавиатуры Google как ни в чём не бывало съедает 150 МБ. Эта программа рисует 30 клавиш на экране — она правда в пять раз сложнее, чем вся Windows 95? Приложение Google app, в основном, просто пакет для Google Web Search, занимает 350 МБ! Сервисы Google Play, которыми я не пользуюсь (я не покупаю там книги, музыку или видео) — 300 МБ, которые просто сидят здесь и которые нельзя удалить.
Изображение


После установки всех необходимых приложений (социальные сети, чаты, карты, такси, банки и т. д.) на телефоне остался всего 1 гигабайт для фотографий. И это вообще без игр и музыки! Помните времена, когда ОС, приложения и все ваши данные помещались на дискету?

Ваша программа для заметок наверняка написана в Electron и, таким образом, поставляется с драйвером для контроллера Xbox 360, умеет показывать 3D-графику, воспроизводить аудио и фотографировать с помощью веб-камеры.
Изображение


Простой текстовый чат всегда славился скоростью и малым потреблением памяти. Так что Slack — это пример очень ресурсоёмкого приложения. Я имею в виду, что чат и текстовый редактор — это самые базовые вещи, они должны потреблять меньше всего ресурсов. Добро пожаловать в 2018 год.

Вы можете сказать, что они хотя бы работают. Но увеличение размера — не значит улучшение. Это значит, что кто-то потерял контроль. Мы больше не знаем, что происходит. Увеличение размера — это повышение сложности, снижение производительности и надёжности. Это ненормально и не должно считаться нормой. На раздутый размер нужно сразу обращать внимание — и держаться от них подальше.

Всё гниёт

Android-телефон на 16 ГБ был прекрасен три года назад. Сегодня под Android 8.1 он еле работает, потому что каждое приложение увеличилось минимум вдвое без видимых причин. Дополнительных функций нет. Они не стали быстрее и внешний вид не изменился. Они просто… раздулись?

iPhone 4s вышел с iOS 5, но едва может работать под управлением iOS 9. И это не потому, что iOS 9 намного лучше — в основном, система не изменилась. Но новое оборудование быстрее, поэтому они сделали программное обеспечение медленнее. Не волнуйтесь — вы получили захватывающие новые возможности, например… работа тех же приложений с той же скоростью! Не знаю.

iOS 11 прекратила поддержку 32-разрядных приложений. Это значит, что если разработчик не готов вернуться и обновить приложение, скорее всего, вы не увидите снова эту отличную программу.

@jckarter: Программу DOS можно заставить работать без изменений практически на любом компьютере, сделанном после 80-х годов. Приложение Javascript может прекратить работу из-за завтрашнего обновления Chrome.

Сегодняшние веб-страницы не будут работать в любом браузере через 10 лет (а может и раньше).

«Нужно бежать со всех ног, чтобы только остаться на том же месте». Но смысл? Я могу постоянно покупать новые телефоны и ноутбуки, как все, но делать это лишь ради того, чтобы иметь возможность запускать все те же приложения, которые стали только медленнее?

Думаю, что мы можем и должны исправить ситуацию. Сейчас все разрабатывают программы для сегодняшнего дня, изредка для завтрашнего. Но будет неплохо делать вещи, которые работают немного дольше.

Хуже — значит лучше

Сейчас никто ничего не понимает. И не хочет понимать. Мы просто выпускаем полусырую ерунду, надеемся на лучшее и называем это «здравым смыслом для стартапа».

Веб-страницы просят обновиться, если что-то пошло не так. У кого есть время, чтобы найти причину неполадки?

Изображение

Любое веб-приложение выдаёт постоянный поток «случайных» ошибок JS, даже на совместимых браузерах.

Вся архитектура баз данных веб/SQL построена на предпосылке (даже надежде), что никто не изменит данные, пока вы смотрите на открытую веб-страницу.

Большинство приложений для совместной работы сделали «как смогли», там масса типичных сценариев, когда они теряют данные. Видели диалог «Какую версию сохранить?» Сегодня планка так низка, что пользователи рады даже этому вопросу.
Изображение


И нет, в моём мире не является нормальным приложение, которое говорит: «Я уничтожу часть твоей работы, только выбери какую».

Linux намеренно убивает случайные процессы. И всё же это самая популярная серверная ОС.

У меня каждое устройство регулярно выходит из строя так или иначе. Время от времени монитор Dell нужно аппаратно перезагружать, потому что в нём есть софт. AirDrop? Вам повезёт, если он обнаружит устройство, иначе что делать? Bluetooth? Спецификации настолько сложны, что устройства не будут устанавливать связь друг с другом, а периодические перезагрузки — оптимальный вариант.
Изображение


И я даже не упоминаю об Интернете вещей. Это настолько за гранью разумного, что даже нечего добавить.

Я хочу гордиться своей работой. Я хочу делать рабочие, стабильные вещи. Для этого нужно понять, что конкретно мы разрабатываем, внутри и снаружи, а это невозможно сделать в раздутых, чрезмерно усложнённых системах.

В программировании такой же хаос

Кажется, что никто больше не заинтересован в качественных, быстрых, эффективных, долговечных, основательных решениях. Даже если давно известны эффективные решения, мы по-прежнему боремся с теми же проблемами: управление пакетами, системы сборки, компиляторы, конструкция языка, IDE.

Системы сборки по своей сути ненадёжны и периодически требуют полной очистки, хотя у них есть вся информация для инвалидации. Ничто не мешает сделать процесс сборки надёжным, предсказуемым и на 100% воспроизводимым. Просто никто не думает, что это важно. NPM уже много лет находится в состоянии «иногда работает».

@przemyslawdabek: Кажется, что

rm-rf node_modules

является неотъемлемой частью рабочего процесса в проектах Node.js/Javascript.

А время сборки? Никто не считает проблемой, что компилятор работает минуты или даже часы. А как же «время программиста дороже»? Почти все компиляторы, пре- и постпроцессоры значительно, иногда катастрофически увеличивают время сборки, не обеспечивая пропорционально существенных преимуществ.

Изображение


Вы ожидаете, что программисты будут принимать в основном рациональные решения, но иногда они делают прямо противоположное. Например, выбирая Hadoop даже если он медленнее, чем выполнение той же задачи на одном десктопном компьютере.

Машинное обучение и ИИ отбросили программное обеспечение к гаданию на кофейной гуще во времена, когда большинство компьютеров даже не были достаточно надёжными.

@rakhim: Когда приложение или сервис говорит «под управлением ИИ» или «на основе машинного обучения», я читаю это как «ненадёжное, непредсказуемое поведение, которое не поддаётся объяснению». Я держусь подальше от «ИИ», потому что хочу от компьютеров противоположного: надёжности, предсказуемости и логики.

Мы засунули виртуальные машины в Linux, а затем засунули Docker в виртуальные машины, просто потому что никто не смог разобраться с бардаком, который производят большинство программ, языков и их окружений. Мы накрываем дерьмо одеялами, чтобы не убирать его. Например, «единый бинарник» остаётся ОГРОМНЫМ преимуществом Go. Нет бардака == успех.
Изображение



Окружающая среда Python настолько загрязнилась, что мой ноутбук объявили зоной экологической катастрофы.
Примечание. Агентство по защите окружающей среды Python хотело залить его цементом и захоронить с картинкой на входе — предупреждением для будущих цивилизаций об опасности использовать sudo для установки случайных пакетов

А зависимости? Люди бездумно ставят переусложнённые «полные пакеты» для простейших проблем, не думая о последствиях. Из этих зависимостей растут новые. В конечном итоге вы получаете дерево, которое является чем-то средним между фильмом ужасов (огромное и полное конфликтов) и комедией (нет причин, по которым мы добавили сюда эти пакеты, но вот они):
Изображение

Программы не могут работать несколько лет без перезагрузки. Иногда даже несколько дней — это слишком. Происходят случайные глюки, и никто не знает почему.

Что ещё хуже, ни у кого нет времени остановиться и выяснить, что произошло. Зачем беспокоиться, если всегда есть другой выход. Поднять новый инстанс AWS. Перезапустить процесс. Удалить и восстановить базу данных. Написать скрипт, который будет перезапускать ваше сломанное приложение каждые 20 минут. Включить одни и те же ресурсы несколько раз: тяп-ляп — и в продакшн. Двигайся быстро, не трать время на исправление ошибок.

Это не инженерная работа. Это просто ленивое программирование. Инженерная работа предполагает глубокое понимание производительности, структуры и ограничений того, что вы создаёте. Лепить халтуру из некачественного материала — совершенно противоположное занятие. Чтобы развиваться, мы должны понимать, что и зачем мы делаем.

Мы застряли

Таким образом, всё это просто куча едва работающего кода, добавленного поверх ранее написанного едва работающего кода. Он продолжает расти в размерах и сложности, уменьшая шансы на изменения.

Чтобы иметь здоровую экосистему, необходимо вернуться. Необходимо иногда выбрасывать хлам и заменять его лучшими альтернативами.

Изображение


Но у кого есть на это время? Новые ядра ОС не выходили сколько, 25 лет? Это сейчас стало слишком сложным, чтобы просто взять и переписать. В браузерах накопилось столько пограничных ситуаций и исторических прецедентов, что никто не осмелится писать движок с нуля.

Сегодняшнее определение прогресса — или подбросить топлива:

@sahrizv: 2014 — нужно внедрить микросервисы для решения проблем с монолитами.
2016 — нужно внедрить Docker, чтобы решить проблемы с микросервисами.
2018 — нужно внедрить Kubernetes, чтобы решить проблемы с Docker.

или изобретать велосипед:

@dr_c0d3: 2000: напишите 100 строк XML, чтобы «декларативно» настроить сервлеты и EJB.
2018: напишите 100 строк YAML, чтобы «декларативно» настроить микросервисы.
В XML были хотя бы схемы…

Мы застряли, и никто нас не спасёт.

Бизнесу всё равно

Пользователям тоже. Они выучились принимать то, что мы делаем. Мы (инженеры) говорим, что каждое приложение для Android занимает 350 МБ? Хорошо, они будут с этим жить. Мы говорим, что не можем обеспечить плавную прокрутку? Окей, они свыкнутся с телефоном, который подтормаживает. Мы говорим: «Если не работает, перезагрузитесь»? Они перезагрузятся. Ведь у них нет выбора.

Конкуренции тоже нет. Все строят одни и те же медленные, раздутые, ненадёжные продукты. Случайный скачок вперёд по качеству даёт конкурентное преимущество (iPhone/iOS против других смартфонов, Chrome против других браузеров) и заставляет всех перегруппироваться, но ненадолго.

Наша миссия как инженеров — показать миру потрясающие возможности современных компьютеров с точки зрения производительности, надёжности, качества и удобства использования. Если нам не всё равно, люди потянутся. И никто кроме нас не покажет им, что такое возможно. Если только нам не наплевать.

Не всё так плохо

Иногда на пасмурном небосводе просвечивают лучики надежды.

Работа Мартина Томпсона (LMAX Disruptor, SBE, Aeron) впечатляет, она освежающе проста и эффективна.

Редактор Xi Рафа Левиена, кажется, построен на правильных принципах.

Джонатан Блоу для своей игры разработал язык компилирования, который компилирует 500 000 строк в секунду на ноутбуке. Это холодная компиляция, никакого промежуточного кэширования, никаких инкрементальных билдов.

Не нужно быть гением, чтобы писать быстрые программы. Здесь нет какой-то магии. Единственное, что требуется, — это не строить софт на базе огромной кучи дерьма, которую поставляют современные инструменты.

Манифест лучшего мира

Я хочу видеть прогресс. Я хочу перемен. Чтобы современное программное обеспечение совершенствовалось, а не стояло на месте. Я не желаю заново изобретать одно и то же, каждый раз выпуская всё более медленный и раздутый продукт. Я хочу во что-то верить — в достойную цель, в будущее, которое лучше, чем то, что мы имеем сегодня, и чтобы появилось сообщество инженеров, которые разделяют это видение.

Что мы имеем сегодня — это не прогресс. Мы едва достигаем бизнес-целей с этими плохими инструментами. Мы застряли в локальном оптимуме, и никто не хочет двигаться. Это даже не хорошее место, оно раздутое и неэффективное. Мы просто как-то привыкли к нему.

Поэтому я хочу заявить: нынешняя ситуация — полное дерьмо. Как инженеры, мы можем и должны, и сделаем лучше. У нас могут быть лучшие инструменты, мы можем создавать лучшие приложения, более быстрые, предсказуемые, более надёжные, использующие меньше ресурсов (на порядки меньше!). Мы должны глубоко понять, что мы делаем и почему. Мы должны выпускать продукты надёжно, предсказуемо, с самым высоким качеством. Мы можем и должны гордиться нашей работой. Не просто «учитывая то, что у нас было...» — никаких оговорок!

Надеюсь, я не одинок. Надеюсь, что есть люди, которые хотят того же. Я буду рад, если мы хотя бы начнём говорить о том, насколько абсурдно нелепа нынешняя ситуация в индустрии программного обеспечения. А потом, возможно, придумаем, как выбраться из неё.

Источник: https://habr.com/post/423889/

#2 OFFLINE   Ramerup

 

    сова упоротая..

  • [Хранители]
  • сообщений: 20 058
    Последний визит:
    Вчера, 22:45
  • Пол:Мужчина
  • Откуда:Санкт-Петербург
 

Отправлено 22 Сентябрь 2018 - 13:23

хе, видел это сегодня на АШ, но ниасилил.. :crazy:  букав много, а времени мало.. может позже..

#3 OFFLINE   Mitrich

 

    Знаток

  • Модераторы
  • сообщений: 4 901
    Последний визит:
    Вчера, 21:33
  • Пол:Мужчина
 

Отправлено 22 Сентябрь 2018 - 14:05

Тоже до конца не осилил, но начало понравилось. Вечерком надо ознакомится повнимательней.:)

#4 OFFLINE   mailstream

 

    вакуумсферошушпанцер

  • Модераторы
  • сообщений: 1 330
    Последний визит:
    18 окт 2020 22:28
  • Пол:Мужчина
 

Отправлено 22 Сентябрь 2018 - 14:20

не выгорит. экономическая система не стерпит такой оптимизации.
нооо... если такие ребята объединяться, то могут серьезно подорвать несколько крупных концернов.

#5 OFFLINE   Al71

 

    Мастер

  • [eMule-Rus]
  • сообщений: 3 275
    Последний визит:
    22 ноя 2022 07:59
  • Пол:Мужчина
  • Откуда:Москва
 

Отправлено 22 Сентябрь 2018 - 14:58

А мне понравилась статья. Я хоть и не программист, но сочувствую :-)
Хотя, можно посмотреть на проблему и с другой стороны (комментарий с хабра):

Цитата

Наверно когда ты не инженер и все эти аспекты низкой скорости принимаешь как данное, тебя не волнуют внутренние механизмы работы, то тебе просто хочется котика полайкать. А таких 99%. Но ведь вся эта раздутость в конечном итоге двигает развитие железа, позволяет его покупать по разумным ценам людям которым оно и правда нужно. Всякие научные расчеты, моделирование и все такое.

В принципе, тоже согласен. Прошлой зимой прикупил на али "устаревший" 10-ядерный ксеон всего за полторы сотни баксов, который пришелся очень кстати при сжатии фильмов, не говоря о РВ, для чего он, собственно, и покупался. В студенческие годы о таком железе и мечтать не мог.

#6 OFFLINE   mailstream

 

    вакуумсферошушпанцер

  • Модераторы
  • сообщений: 1 330
    Последний визит:
    18 окт 2020 22:28
  • Пол:Мужчина
 

Отправлено 22 Сентябрь 2018 - 15:30

Просмотр сообщенияAl71 (22 Сентябрь 2018 - 14:58) писал:

Цитата

Наверно когда ты не инженер и все эти аспекты низкой скорости принимаешь как данное, тебя не волнуют внутренние механизмы работы, то тебе просто хочется котика полайкать. А таких 99%. Но ведь вся эта раздутость в конечном итоге двигает развитие железа, позволяет его покупать по разумным ценам людям которым оно и правда нужно. Всякие научные расчеты, моделирование и все такое.
тролль попутал причинно-следственные связи.


Просмотр сообщенияAl71 (22 Сентябрь 2018 - 14:58) писал:

В принципе, тоже согласен. Прошлой зимой прикупил на али "устаревший" 10-ядерный ксеон всего за полторы сотни баксов, который пришелся очень кстати при сжатии фильмов, не говоря о РВ, для чего он, собственно, и покупался. В студенческие годы о таком железе и мечтать не мог.
и если бы идеи, описанные в статье, реализовывались в жизни, то сжимать фильмы ты бы мог на 2х ядерном пентиуме, за 10 баксов.

#7 OFFLINE   Al71

 

    Мастер

  • [eMule-Rus]
  • сообщений: 3 275
    Последний визит:
    22 ноя 2022 07:59
  • Пол:Мужчина
  • Откуда:Москва
 

Отправлено 22 Сентябрь 2018 - 16:14

Цитата

и если бы идеи, описанные в статье, реализовывались в жизни, то сжимать фильмы ты бы мог на 2х ядерном пентиуме, за 10 баксов.

Я думаю, есть все же и некие физические ограничения, и в этой области тоже. Скорость перекодирования по большому счету не зависит ни от операционной системы, ни от программы -- главным образом железо и кодек. Если бы существовали разные по производительности версии одного и того же кодека, тогда можно было бы допустить и такое, а так там предел вполне жесткий.

#8 OFFLINE   mailstream

 

    вакуумсферошушпанцер

  • Модераторы
  • сообщений: 1 330
    Последний визит:
    18 окт 2020 22:28
  • Пол:Мужчина
 

Отправлено 23 Сентябрь 2018 - 00:34

Просмотр сообщенияAl71 (22 Сентябрь 2018 - 16:14) писал:

Я думаю, есть все же и некие физические ограничения...
есть. скорость перекодирования зависит от качества алгоритма заложенного в кодек и способности железа производить последовательные операции. распараллелить, насколько я помню, в достаточной мере еще никому не удалось.
теперь вернуться обратно. если твой замечательный процессор в 12 ядер может быть на какой то период времени переключен только на кодирование видео - наверное результат будет впечатляющий. но поскольку он одновременно тащит, помимо кодирования, еще ось, гуя для кодека и хз что еще, его чистая производительность тебе неизвестна.

опять же, я не настолько разбираюсь в архитектуре процессоров, что бы заявить, что 12 ядерный зион лучше/хуже чем линейка core, где часть процессора архитектурно отдана только на обработку видео.
можешь дать сравнение того что эксплуатируешь и 6 ядерного i5-8*** цена которому 200$?

#9 OFFLINE   Ramerup

 

    сова упоротая..

  • [Хранители]
  • сообщений: 20 058
    Последний визит:
    Вчера, 22:45
  • Пол:Мужчина
  • Откуда:Санкт-Петербург
 

Отправлено 23 Сентябрь 2018 - 01:26

согласен с mailstream, в целом не прокатит, мы живём в мире конкуренции, основная причина того, что всё пухнет и куча лишнего, не оптимизрованного кода - все торопятся успеть раньше других выбросить "новый" продукт..
плюс, массе индусов-программистов платят, вроде бы, за количество кода, о чём тут говорить?
крик души, таксказать, понятен, что делать непонятно.. цЫвилизационная парадигма, такова селявуха, как говорится..

#10 OFFLINE   Al71

 

    Мастер

  • [eMule-Rus]
  • сообщений: 3 275
    Последний визит:
    22 ноя 2022 07:59
  • Пол:Мужчина
  • Откуда:Москва
 

Отправлено 23 Сентябрь 2018 - 09:58

Просмотр сообщенияmailstream (23 Сентябрь 2018 - 00:34) писал:

есть. скорость перекодирования зависит от качества алгоритма заложенного в кодек и способности железа производить последовательные операции. распараллелить, насколько я помню, в достаточной мере еще никому не удалось.
Ну почему же. Я перекодировал сразу по двадцать фильмов одновременно с привязкой по потокам, каждый фильм на отдельном потоке. Каждый поток был загружен на 100%. Если кодировать по одному фильму, то да, загрузка процентов семьдесят. Причем, как я уже писал, время кодирования одного и того же фильма при одинаковых опциях кодека примерно равное, не важно, какая ось и какая программа -- я в свое время пробовал и VirtualDub под виндой, и Avidemux/HandBrake с гуи на линуксе, и консольный ffmpeg -- нигде ощутимого преимущества не получил. С ffmpeg просто удобней автоматизировать этот процесс. А на всякие служебные процессы и мула, которые, кстати, потребляют не так много процессорного времени и на время кодирования существенно не влияют (я проверял), при желании можно выделить отдельный поток.

Цитата

опять же, я не настолько разбираюсь в архитектуре процессоров, что бы заявить, что 12 ядерный зион лучше/хуже чем линейка core, где часть процессора архитектурно отдана только на обработку видео.
Графическое ядро в кодировании не участвует. Насколько мне известно, были попытки создать кодировщик x264 на видеокартах (NVENC), но не совсем удачно -- там серьезные претензии по качеству результата.

Цитата

можешь дать сравнение того что эксплуатируешь и 6 ядерного i5-8*** цена которому 200$?

Только теоретически:
i5-8400: 6ядер/6потоков, 4 ГГц Турбо буст (цена на али ~ 20000 руб)
e5-2680v2 (мой): 10ядер/20потоков, 3.1 Ггц Турбо буст (покупал там же за ~10000 руб)

На бумаге выходит: 10*3.1/6*4=1.29
С двадцатью потоками гипертрейдинга производительность увеличивается раза в полтора.
Итого: 1.29*1.5=1.94
У i5 более быстрая память DDR4, но двухканальная, у меня DDR3, но четырехканальная и в три раза больше кеша L3. Будем считать 1:1
По набору инструкций у i5 дополнительно есть AVX2, но он, кажется, используется только при кодировании VP9, то есть в моем случае бесполезен.
Выходит, что мой почти в два раза быстрей при вдвое меньшей цене. В плюс i5 можно отнести только меньшее энергопотребление, но в данном случае оно не принципиально.

PS Я во многом согласен с автором статьи. Мне самому пришлось покупать новый ноутбук из-за того, что на старом атоме текстовые страницы в браузере грузились по минутам. Просто не хотелось бы сваливать всех в одну кучу -- девочек-дизайнеров и инженеров/ученых, которые профессионально занимаются вопросами оптимизации.

#11 OFFLINE   mailstream

 

    вакуумсферошушпанцер

  • Модераторы
  • сообщений: 1 330
    Последний визит:
    18 окт 2020 22:28
  • Пол:Мужчина
 

Отправлено 23 Сентябрь 2018 - 11:13

Просмотр сообщенияAl71 (23 Сентябрь 2018 - 09:58) писал:

Выходит, что мой почти в два раза быстрей при вдвое меньшей цене. В плюс i5 можно отнести только меньшее энергопотребление, но в данном случае оно не принципиально.
хорошо, в принципе, это твой выбор, наверное, ты его продумал, раз задача в перекодировании 20 фильмов одновременно.

но вот я статью, навскидку, читаю, древнюю, о том, что аппаратная часть линейки core на процесс влияет. https://habr.com/com...el/blog/218619/ ну или я это неправильно понимаю.
прям вот цитата "В качестве эксперимента мы решили попробовать ускорить кодирование видео при помощи графических сопроцессоров Intel HD Graphics, встроенных в современные процессоры Intel" и там далее несколько табличек и выводов, об ускорении с использованием IM SDK от 2-3 до 4-5 раз.
общая информация, которую публикуют о  технологиях интел, как бы намекает, что кодирование оптимизируют, программную и аппаратную часть друг к другу подтягивают.
и кстати, современный кодек - h265, эффективность которого, сама по себе, считается выше, чем у h264, т.е. сам кодек оптимизирован https://habr.com/com...el/blog/242781/
на бумаге я готов согласится, что 12 ядер серверного процессора это лучше чем 6 настольного. вообще, в широком круге задач.
но если тыкаться именно в кодирование, то я не уверен, что процессор 13 года значимо выиграет у процессора 17 года, при условии адекватно и оптимально настроенных параметров системы именно под задачу кодирования.
это я к тому, что не спорю, просто - не убежден.

#12 OFFLINE   Al71

 

    Мастер

  • [eMule-Rus]
  • сообщений: 3 275
    Последний визит:
    22 ноя 2022 07:59
  • Пол:Мужчина
  • Откуда:Москва
 

Отправлено 23 Сентябрь 2018 - 12:57

Я тоже не могу утверждать однозначно, но даже если бы у меня и был этот i5, то вряд ли я смог бы задействовать его встроенное видео. На том же хабре еще раньше писали о Intel Quick Sync Video, но для линукса его использование проблематично. Что касается h265, он хоть и сжимает видео гораздо сильнее, но и времени на это требует существенно больше. А главное, воспроизведение данного формата не так широко поддерживается имеющимися (у меня:) на сегодня устройствами, как h264.
Вообще, первоначально у меня на этой платформе стоял i7-4820k, разогнанный до 4.5 ГГц. Точные цифры не скажу, но зион при кодировании даже одного фильма в многопотоке оказался лучше. Хотя брал я свой зион вовсе не для кодирования, а для РВ, где именно широкий круг задач, и каждая задача, как правило, работает на отдельном потоке .





Количество пользователей, читающих эту тему: 2

0 пользователей, 2 гостей, 0 анонимных