J3qx

information archive

Archive for Апрель 2017

Готов ли я поехать на войну

Posted by j3qx на Апрель 25, 2017

Готов ли я поехать на войну

«Чаще всего война — не стрельба, взрывы, переползания и перебежки. Это холод, сидение в грязи, отсутствие туалетной бумаги и сигарет.»
Давно хотел написать пост для тех, кто по тем или иным причинам принял решение ввязаться в один из замесов, активно полыхающих в мире. Теперь кидайте тапки.
Общие положения:
В армии тебя никто не ждёт. ВС существовали тысячи лет до твоего рождения и ещё столько же просуществуют, не подозревая, что ты можешь изменить весь их облик, только по факту своего прибытия в расположение;
Если ты не выпил свою цистерну со спиртом на гражданке, стараться допить её в армии — не нужно. Там достаточно долболобов без тебя и твоих синих подвигов. Любой ветеран подтвердит, что синька сгубила на войне больше народу, чем противник. Зачастую народа совсем невиновного и отношения к твоему алкоголизму не имеющего;

Читать далее…

Реклама

Posted in Military | Отмечено: | Leave a Comment »

Как мы Redis Cluster готовили

Posted by j3qx на Апрель 25, 2017

В мире опен сорс есть огромное количество технологий, подходов, паттернов, тулзов и аппов, которые юзает очень много компаний. Как превратить используемое ПО или технологию в конкурентное преимущество? Предлагаю рассмотреть на примере Redis Cluster — как мы прокладывали наш путь.

Начало

Стоит начать с того, что Redis — это, по сути, очень удобная штука. В двух словах, Redis — это персистентное key-value хранилище в памяти, со своим блэкджеком и куртизантками. Чаще всего его сравнивают с устаревшим Memcached, который не умеет делать почти ничего из того, что умеет делать Redis.

Читать далее…

Posted in highload, sysadmin | Отмечено: , , , , | Leave a Comment »

Как отсюда выйти: шпаргалка по Vim

Posted by j3qx на Апрель 25, 2017

Вы собираетесь создать файл crontab и внезапно оказываетесь в этом странном редакторе по умолчанию. В том, в котором всё никак не разберётесь.

ESC? Ничего не произошло. CTRL + C? Нет. ESC ESC ESC? Неа. Вы в тупике.

Ну вот, опять. Склонив голову от стыда, вы запускаете очередной терминал, чтобы исполнить команду killall vim и продолжить заниматься своими делами.

 

Читать далее…

Posted in sysadmin | Отмечено: , | Leave a Comment »

Строим сервисы на базе Nginx и Tarantool

Posted by j3qx на Апрель 25, 2017

Переходим от теории к практике — в прошлом письме мы с вами изучили теорию построения СУБД в оперативной памяти, а следующие два письма будут посвящены конкретной реализации и использованию таких СУБД на примере платформы Tarantool. Открывают тему Андрей Дроздов и Василий Сошников.

Андрей Дроздов и Василий Сошников (Mail Ru)

Константин Осипов: Долгое время то, что мы делали с Tarantool, было достаточно эзотерической штукой, потому что не было людей, которые, вообще, могли это как-то применить или объяснить, как это можно применить. И вот, наконец-то, такие люди появились. Они не просто взяли какую-то эзотерическую базу данных, а сделали на ней что-то полезное. И если вас эта технология интересует, то это люди, к которым вам стоит идти. Вам нужно идти не ко мне, потому что я какой-то хардкорный гик, который не понимает человеческих проблем, и я с трудом разговариваю на таком языке. Эти люди попробовали сделать то, что они сделали – поженили Tarantool с Nginx, сделали из этого какую-то полезную штуку. Вау! Я бы этого сделать не смог. Поэтому – «Строим сервисы на базе Nginx и Tarantool».

Читать далее…

Posted in highload | Отмечено: , | Leave a Comment »

Осваиваем Tarantool 1.6

Posted by j3qx на Апрель 25, 2017

Евгений Шадрин (Sberbank Digital Ventures)

Отслеживая новости последних нескольких лет, можно заметить, что новые NoSQL-решения, какие-то релизы появляются чуть ли не каждые две недели. Конечно, многие из них не выживают, проигрывают конкуренцию, пропадают, но мир NoSQL пополняется новыми решениями очень часто.

На конференции есть как люди, которые никогда в жизни не использовали NoSQL, так и люди, которые больше пяти лет используют NoSQL в своих проектах, компаниях. Некоторые даже участвуют в open-source проектах. Их немного, но такие тоже есть.

Меня зовут Евгений. Я работаю в небольшом подразделении Сбербанка Digital Ventures, которое занимается внедрением инновационных продуктов и решений, т.е. мы делаем IT-прототипы на стыке новых технологий.

Читать далее…

Posted in highload | Отмечено: , | Leave a Comment »

Строим сервисы на базе Nginx и Tarantool

Posted by j3qx на Апрель 25, 2017

Вам знакома такая архитектура? Хоровод демонов, пляшущих между web-server, cache и storage.

Какие минусы такой архитектуры можно отметить? Решая задачи в рамках такой архитектуры, мы сталкиваемся с кучей вопросов: какой язык(и?) взять, какой I/O framework выбрать, как синхронизировать cache и storage? Куча инфраструктурных вопросов. А зачем решать инфраструктурные вопросы, когда надо решить задачу? Безусловно, можно сказать, что нам нравятся некие технологии X и Y, и перевести эти минусы в рамки идеологических. Но нельзя отрицать тот факт, что данные располагаются на неком расстоянии от кода (картинка выше), что добавляет latency, что может уменьшить RPS.

Читать далее…

Posted in highload | Отмечено: , | Leave a Comment »

Что особенного в СУБД для данных в оперативной памяти

Posted by j3qx на Апрель 25, 2017

Константин Осипов ( kostja )

Константин Осипов

Как родилась идея доклада? Я не очень люблю выступать и рассказывать про фичи, особенно про будущие фичи. Выясняется, что и люди не особо любят это слушать. Они любят слушать про то, как все устроено. Это доклад о том, как все устроено или должно быть, с моей точки зрения, устроено в современной СУБД.

Я попробую сделать так, чтобы мы смогли с макроуровня спуститься на микроуровень, т.е. каким образом, сначала отбрасывая макропроблемы, мы можем создать себе пространство для выбора на среднем уровне и микроуровне.

На макроуровне – это то, как должна быть устроена современная СУБД. Почему у нас сегодня есть возможность создавать новые базы данных, почему нельзя взять текущую и удовлетвориться ее производительностью, подтюнить или написать для нее патч? Просто взять и написать патч, который бы ее ускорил, если она медленная? Из какого пространства решений мы выбираем?

 

Читать далее…

Posted in highload | Отмечено: , , , , | Leave a Comment »

Подключение Debian GNU/Linux 8.6 к домену Active Directory с помощью SSSD и realmd

Posted by j3qx на Апрель 25, 2017

На большом количестве разных интернет-ресурсов можно встретить описание процедуры присоединения серверов на базе ОС Linux к домену Active Directory, и практически везде в таких описаниях в виде неотъемлемой части присутствует установка Samba с последующим использованием Winbind. Мы тоже не стали в этом плане исключением. В этой заметке я хочу рассмотреть пример использования альтернативного средства расширения функционала аутентификации и авторизации в Linux – службы SSSD (System Security Services Daemon), которая будет автоматически настроена с помощью пакета realmd (Realm Discovery). В этом примере нами будет настроена аутентификация и авторизация на сервере Debian GNU/Linux 8.6 (Jessie) с подключением к домену Active Directory (на базе Windows Server 2012 R2).

Читать далее…

Posted in sysadmin | Отмечено: , | Leave a Comment »

Создание keytab-файла, содержащего несколько разных Kerberos Principal

Posted by j3qx на Апрель 25, 2017

Разные службы и приложения, работающие в Linux и использующие аутентификацию Kerberos, например в связке с контроллерами домена Active Directory (AD), используют для механизмов этой самой аутентификации специальный keytab-файл, который содержит хеши пароля доменной учётной записи пользователя, с которым ассоциирована та или иная служба в Linux-системе (как с Kerberos Principal). И вполне типичной и распространённой практикой является создание отдельного keytab-файла для каждого принципала Kerberos. То есть, как правило, прослеживается такая логика: отдельная учётная запись служебного пользователя в AD, для которого зарегистрировано конкретное имя службыServicePrincipalName (SPN) => отдельный keytab-файл, сопоставимый с записью SPN в AD.

Читать далее…

Posted in sysadmin | Отмечено: , | Leave a Comment »

Не доверяйте SUDO, она может вас подвести

Posted by j3qx на Апрель 25, 2017

Всем доброго времени суток, в этой статье постараюсь описать некоторые способы обхода ограничений на исполнение команд в ОС Linux, советы по использованию которых можно часто встретить на различных форумах. Демонстрация будет проведена на примере задания Restricted shells с сайта Root-Me. Итак, начнём.

Пользователь ch14-1

После подключения по SSH мы попадаем на первого пользователя, и видим подсказку: «Всегда проверять sudo -l». Но для начала нужно обойти первую преграду, это rbash, который часто рекомендуют использовать для ограничения действий пользователя в командной оболочке. И действительно, с виду, он является хорошим решением, но не всегда!

Читать далее…

Posted in sysadmin, Undeground | Отмечено: , | Leave a Comment »