J3qx

information archive

Archive for Май 2017

Мастеру на все руки: 5 лучших инструментов для DevOps

Posted by j3qx на Май 21, 2017

Слoжно представить сегодняшнюю разработку без DevOps-специалиста (Development + Operations), как клей, соединяющего несколько процессов — разработку, деплой, теcтирование и дальнейшее сопровождение. Чтобы укладываться в сроки и при этом выпускaть качественный продукт, абсолютно все процессы необходимо автомaтизировать и контролировать. И конечно, здесь выручают специализиpованные инструменты. Представляем пятерку must have приложений, без кoторых сложно обойтись.

Ansible

Задача номер один в любой организaции — автоматизация развертывания ПО и приложений, настройка серверов. На сегoдня доступно более двадцати систем управления конфигурацией, из них самые известные — Chef, CFEngine, Puppet, но Ansible, пoявившийся позже всех, в 2012 году, пользуется наибольшей популярностью. Причина — низкий пoрог входа, максимальная простота работы и безопасность. На удаленных системах для управления не используются агeнты, все производится через SSH. Для подключения настраивается беспарольная аутентификaция при помощи ключей, также поддерживается LDAP и Kerberos.

Возможно выполнение на удалeнных узлах одиночной команды, скрипта или любых операций, выполняемых обычно вручную: пpоверки состояния, установки, удаления пакетов, создания учетных записей и пpав, копирования данных, управления системой, сервисами и мнoгих других. Причем большинство функций реализованы с помощью модулей, упpощающих написание кода, при необходимости можно использoвать системные команды напрямую, хотя это рекомендуется только для тех случаев, когда это дeйствительно необходимо. Список модулей есть на сайте проекта.

Читать далее…

Реклама

Posted in linux, sysadmin | Отмечено: , , | Leave a Comment »

Самые полезные приёмы работы в командной строке Linux

Posted by j3qx на Май 21, 2017

Каждый, кто пользуется командной строкой Linux, встречался со списками полезных советов. Каждый знает, что повседневные дела вполне можно выполнять эффективнее, да только вот одно лишь это знание, не подкреплённое практикой, никому не приносит пользы.

Как выглядят типичные трудовые будни системного администратора, который сидит на Linux? Если абстрагироваться от всего, кроме набираемых на клавиатуре команд, то окажется, что команды эти постоянно повторяются. Всё выходит на уровень автоматизма. И, если даже в работе есть что улучшать, привычка противится новому. Как результат, немало времени уходит на то, чтобы делать так, как привычнее, а не так, как быстрее, и, после небольшого периода привыкания – удобнее. Помнить об этом, сознательно вводить в собственную практику новые полезные мелочи – значит профессионально расти и развиваться, значит – экономить время, которое можно много на что потратить.

image

Читать далее…

Posted in linux | Отмечено: , | Leave a Comment »

Ansible: настраиваем zsh терминал с antigen, autosuggestions, fzf и красивым prompt одной командой

Posted by j3qx на Май 21, 2017

Я провожу в терминале много времени, поэтому хочется, чтобы все было красиво, быстро и удобно. Из этого рождается постоянное желание его настраивать, пробовать разные плагины. Шеллом я выбрал для себя zsh лет 5 назад, пару лет назад нашел oh-my-zsh для его удобной настройки.

 

Со временем к этому конфигу добавились некоторые сбоку торчащие части в виде powerline и percol.

 

Недавно я решил пересобрать все так, чтобы избавиться от ненужных плагинов, добавить нужные, сделать легкую установку и обновление. В итоге появилась роль ansible-role-zsh, которая полностью настраивает терминалы на локалке и на моих серверах.

 

Особенности:

 

  • устанавливается одной командой (кроме шрифта и темы вашего терминального клиента)
  • быстро загружается, быстро работает
  • полностью настраивается через ansible, ~/.zshrc
  • полностью локальная (в систему ничего не ставится, все хранится в ~/.oh-my-zsh)
  • оставляет возможность юзеру вносить свои настройки через ~/.zshrc.local
  • одинаково работает на macOS, старом Debian, Ubuntu, CentOS
  • нормально выглядит на разных цветовых схемах (но лучше всего на Solarized Dark)
  • встроенная подсветка синтаксиса (помогает реже ошибаться и лучше читать длинные команды)
  • автодополнение по истории команд (помогает реже нажимать Ctrl+R)
  • отображение времени для долго выполняемых команд (помогает реже использовать time)

 

Читать далее…

Posted in linux | Отмечено: , , | Leave a Comment »

Uber — причины перехода с Postgres на MySQL перевод

Posted by j3qx на Май 21, 2017

В конце июля 2016 года в корпоративном блоге Uber появилась поистине историческая статья о причинах перехода компании с PostgreSQL на MySQL. С тех пор в жарких обсуждениях этого материала было сломано немало копий, аргументы Uber были тщательно препарированы, компанию обвинили в предвзятости, технической неграмотности, неспособности эффективно взаимодействовать с сообществом и других смертных грехах, при этом по горячим следам в Postgres было внесено несколько изменений, призванных решить некоторые из описанных проблем. Список последствий на этом не заканчивается, и его можно продолжать еще очень долго.
Наверное, не будет преувеличением сказать, что за последние несколько лет это стало одним из самых громких и резонансных событий, связанных с СУБД PostgreSQL, которую мы, к слову сказать, очень любим и широко используем. Эта ситуация наверняка пошла на пользу не только упомянутым системам, но и движению Free and Open Source в целом. При этом, к сожалению, русского перевода статьи так и не появилось. Ввиду значимости события, а также подробного и интересного с технической точки зрения изложения материала, в котором в стиле «Postgres vs MySQL» идет сравнение физической структуры данных на диске, организации первичных и вторичных индексов, репликации, MVCC, обновлений и поддержки большого количества соединений, мы решили восполнить этот пробел и сделать перевод оригинальной статьи. Результат вы можете найти под катом.

Введение

На ранней стадии развития архитектура Uber состояла из монолитного серверного приложения на Python, которое использовало Postgres для хранения данных. С тех пор многое изменилось: была применена модель микросервисов, а также новые платформы обработки и хранения данных. В частности, раньше во многих случаях мы использовали Postgres, а теперь перешли на Schemaless — новую распределенную систему хранения данных, работающую поверх MySQL. В этой статье мы поговорим о некоторых недостатках Postgres и объясним, почему мы решили построить Schemaless и другие сервисы на базе MySQL.

Читать далее…

Posted in highload | Отмечено: , , , | Leave a Comment »

Простыми словами о «фронтенде» и «бэкенде»: что это такое и как они взаимодействуют

Posted by j3qx на Май 21, 2017

Фронтэнд, бекэнд и их взаимодействие простыми словами

Рассказывает Хьюго Ди Францеско, веб-разработчик


Вы наверняка уже слышали эти модные в сфере программирования слова «фронтенд» и «бэкенд», но что за ними стоит? Предлагаю в этом разобраться.

Давайте начнем с определений.

Фронтенд — все, что браузер может читать, выводить на экран и / или запускать. То есть это HTML, CSS и JavaScript.

Читать далее…

Posted in IT expert | Отмечено: , | Leave a Comment »

Принципы и приёмы обработки очередей

Posted by j3qx на Май 21, 2017

Принципы и приёмы обработки очередей

Константин Осипов (Mail.ru)

Как вы считаете, какова стоимость очередей с приоритетами? То есть если кто-то лезет вне очереди, то как посчитать стоимость для всей системы в этой ситуации, чему она пропорциональна? Времени обслуживания клиента — например, 5 минут стоит его обслужить? Она пропорциональна количеству ожидающих, потому что время ожидания для каждого из них увеличится.
Для начала о себе — я занимаюсь разработкой СУБД Tarantool в Mail.ru. Этот доклад будет об обработке очередей. У нас много очередей внутри системы, фактически вся база данных построена как система массового обслуживания.
В основном речь будет идти о проблемах балансировки нагрузки, но перед этим я хотел бы поговорить о том, зачем нужны очереди и как они появились именно в компьютерных системах, чего они позволяют добиться.

Одна из моих любимых мисконцепций по поводу баз данных — это то, что транзакций достаточно для всего. Например, для того, чтобы перевести деньги из одного банка в другой нужно сделать распределенную транзакцию между двумя банками — и все будет хорошо. Т.е. мы берем и лочим аккаунт в одном банке, потом лочим аккаунт в другом банке, делаем списание/начисление, потом разлачиваем. И у нас все консистентно и надежно.

Читать далее…

Posted in highload | Отмечено: , | Leave a Comment »

Настройка окружения SELinux на примере LAMP-сервера

Posted by j3qx на Май 21, 2017

Это третья статья из цикла

И сегодня она попала в поток «Администрирование». Сегодня мы не будем писать модули или настраивать RBAC, а пойдем по пути наименьшего сопротивления и просто захарденим обычный LAMP-сервер при помощи готовой политики, включив необходимые настройки.

Если кто забыл, за аббривиатурой LAMP скрывается Linux, Apache, Mysql, PHP, т.е. это большая часть всех VDS, которые покупают люди для хранения своих личных блогов. Надеюсь, что этот поможет всем им стать немного безопаснее :)

Предположения

Итак, предполагаем, что:

  1. Дистрибутив — CentOS 7 x64, пользователь — root
  2. SELinux включен, загружена политика targeted
  3. Режим SELinux — enforcing

 

Читать далее…

Posted in ITSecurity | Отмечено: , , | Leave a Comment »

Почему мы уверены в том, что развернули

Posted by j3qx на Май 21, 2017

image
Часто бывает, когда что-то не работает. И никто не хочет, чтобы что-то не работало по его вине. В контексте больших инфраструктур и распределенных приложений ошибка конфигурации может быть фатальной.

В статье я покажу как правильно тестировать окружение для приложения, какие инструменты использовать, приведу примеры удачного и целесообразного тестирования.

Читать далее…

Posted in highload | Отмечено: , | Leave a Comment »

Что такое драйвера-призраки с именами dump_diskdump.sys и аналогичными

Posted by j3qx на Май 21, 2017

Posted in sysadmin | Отмечено: , | Leave a Comment »

Что нужно учесть при проектировании системы, чтобы не было мучительно больно?

Posted by j3qx на Май 21, 2017

В статье описаны проблемы при проектировании баз данных и немного всего приложения, которые потом с ростом проекта все сложнее и сложнее решить. Моменты, которые важно учесть на этапе дизайна, и не задумываться о них в последствии. Ну или задумываться за чашкой чая и фразой «А помнишь, как мы решили это сделать сразу? Сколько времени мы этим себе сэкономили!», а не с ощущением зубной боли и болезненном вздрагивании при каждом воспоминании. По мере роста системы и числа пользователей, дизайн базы все сложнее и сложнее изменить, и масштаб изменений становится все более глобальным и трудоемким.

Сейчас многие успешные проекты выросли из небольших стартапов, которые потом получили коммерческий успех и стали большими международными компаниями. Такая возможность роста появилась в последние 20 лет, в основном благодаря интернету и эффекту «стирания границ». Появились глобальные интернет-приложения и мобильные приложения, которые могут быть использованы в любой стране. Ранее, чаще всего, если приложение должно было быть международным проектом, оно и проектировалось уже сразу с учетом такого требования. Конечно, можно воспользоваться эволюционным подходом, и по мере роста проекта добавлять в него необходимые функции и масшатибирование. Но для облегчения внедрения дальнейших изменений, необходимо сразу учитывать масштаб некоторых базовых функций, изменить которые в дальнейшем сложно.

Читать далее…

Posted in highload | Отмечено: , , | Leave a Comment »