Кэш кальмаров - часть 2

Squid - это не только прокси и кеш-сервис, он может делать гораздо больше: управлять acl (списками доступа), фильтровать контент, он может даже выполнять ssl-фильтрацию даже в прозрачном режиме (метод прокси - без необходимости настраивать в настройках прокси. из их браузеров, это как человек посередине, никто не знает, что это там). Поэтому я обычно вижу, как весь потенциал этого приложения тратится впустую из-за того, что я не знаю, как настроить каждую из его частей.

Теперь самое интересное, что делает squid, - это кеш (на мой взгляд). Вы скажете мне, зачем нужен кеш? Причина проста, главное - лучше управлять скоростью и пропускной способностью. Подумайте внимательно, 1000 человек в вашей компании консультируются каждые 5 минут, общие страницы, Google, Hotmail, Gmail и т. Д., Так что вы собираетесь загружать изображения, баннеры, рекламу, html-контент снова и снова, все это статичные вещи, нет они меняются так часто, что лучше хранить их в вашей локальной сети, и вы доставляете копию, которую считаете недавней, в рамках рассмотренных вами конфигураций.

Как это сделать? Просто со следующим предложением:

refresh_pattern [-i] regex min percent max [options]

Как я всегда говорю, не стоит верить всему подряд, поэтому я призываю вас читать официальные источники. Рекомендую ознакомиться с руководством по данному вопросу ЗДЕСЬ.

Оператор refresh_pattern всегда будет использоваться в качестве тега для добавления новых параметров в кэш.

Важно, что ваши списки кешей должны быть последовательными, потому что, как только они совпадут с первым, который соответствует объекту, он не будет продолжать читать ваши другие правила.

Регулярные выражения чувствительны к регистру, поэтому flv — это не то же самое, что FLV, но при желании этого можно избежать, используя опцию -i . Тогда это будет выглядеть так: refresh_pattern -i

«Мин.»: Это время (в минутах), в течение которого объект будет считаться «свежим», если у него нет явного тега «истек». По умолчанию Squid рекомендует значение 0, поскольку некоторые динамические приложения могут вести себя некорректно. Это значение должно быть числом, которое вы считаете полезным и эффективным для элементов, которые хотите кэшировать. Например, 1440 минут (один день) кажется мне вполне подходящим для JPG-файлов; изображения в публикации на веб-сайте не меняются каждые 5 минут.

«Процент» — это процент времени, прошедшего с момента последнего изменения объекта, который будет считаться «недавним» или «свежим». Например, если вы постоянно перезагружаете или обновляете веб-страницу, чтобы увидеть последние изменения, Squid может посчитать, что если объект достиг, скажем, 50% времени между минимальным и максимальным значениями , он снова загрузит этот объект из интернета и предоставит вам свежую копию.

«Макс» — это предел, превышающий или равный «Мин», в течение которого объект считается «недавним» или «свежим». Предположим, изображение на странице было просмотрено пользователем только один раз; этот объект уже достиг своего минимального времени , но не максимального . Поэтому при повторном просмотре будет предоставлена ​​кэшированная копия.

Options:
override-expire
override-lastmod
reload-into-ims
ignore-reload
ignore-no-store
ignore-private
max-stale=NN
refresh-ims
store-stale

Эти параметры были сделаны в основном для того, чтобы игнорировать предустановленное поведение в языках и протоколах, чтобы гарантировать эффективное использование кеша.

override-expire

Он обеспечивает минимальное время объекта, даже если сервер отправил более короткое время истечения срока действия (например, заголовок или Cache-Control: max-age). Если мы сделаем это, появится «предупреждение» вроде «НАРУШАЕТ стандарт HTTP», но это просто предупреждения, которые мы можем игнорировать. Теперь, если время отправки сервером больше, тогда squid будет принимать время (истечение срока) сервера

override-lastmod

Увеличивает минимальное время элемента, даже если этот элемент был недавно изменен.

reload-into-ims

Краткое объяснение состоит в том, что это предотвращает то, что когда мы нажимаем кнопку обновления или делаем запрос без кеширования, squid доставит кеш, если он не был «изменен с тех пор» и / или если на странице нет «заголовков».

ignore-reload

Игнорировать действия пользователей по нажатию кнопки перезагрузки или обновления страницы

ignore-no-store

Игнорируйте любое правило в заголовках, чтобы не кешировать, например видео

ignore-private

Игнорируйте любые правила в заголовках приватного контента, которые не должны кэшироваться, например: контент facebook.

refresh-ims

Squid связывается с сервером, чтобы убедиться, что объект самый новый. Если это так, то он доставит кеш

store-stale

Squid сохранит все эти ответы, даже если у них нет срока годности, это очень непрактично, поскольку их обычно нельзя использовать повторно. Если вы решите включить его, вы должны объявить max-stale = NN

max-stale=NN

Если вы включили вышеуказанное, вы должны объявить максимальное время жизни для этого ответа или фактора. Squid не доставляет объекты этого стиля, но может проверить его с помощью источника

Вот таблица того, как работает состояние «СВЕЖЕЕ» в соответствии со значениями, которые мы обсудили:

  • СВЕЖИЙ, если срок действия истекает> сейчас, иначе УСТАРЕЛ
  • УСТАРЕЛО, если возраст> макс.
  • СВЕЖИЙ, если lm-фактор <процент, иначе СТАЛО
  • СВЕЖИЙ, если возраст <мин., Иначе УСТАРЕВШИЙСЯ

Вот пример конфигурации для конкретной компании с большим объемом дискового пространства, хорошим оборудованием и хорошей пропускной способностью.

refresh_pattern -i \.(3gp|7z|ace|asx|bin|deb|divx|dvr-ms|ram|rpm|exe|inc|cab|qt)$ 43200 99% 43200 ignore-no-store ignore-must-revalidate override-expire override-lastmod reload-into-ims

refresh_pattern -i \.(rar|jar|gz|tgz|bz2|iso|m1v|m2(v|p)|mo(d|v)|arj|lha|lzh|zip|tar)$ 43200 99% 43200 ignore-no-store ignore-must-revalidate override-expire override-lastmod reload-into-ims

refresh_pattern -i \.(jp(e?g|e|2)|gif|pn[pg]|bm?|tiff?|ico|swf|dat|ad|txt|dll)$ 43200 99% 43200 ignore-no-store ignore-must-revalidate override-expire override-lastmod reload-into-ims

refresh_pattern -i \.(avi|ac4|mp(e?g|a|e|1|2|3|4)|mk(a|v)|ms(i|u|p)|og(x|v|a|g)|rm|r(a|p)m|snd|vob)$ 43200 99% 43200 ignore-no-store ignore-must-revalidate override-expire override-lastmod reload-into-ims

refresh_pattern -i \.(pp(t?x)|s|t)|pdf|rtf|wax|wm(a|v)|wmx|wpl|cb(r|z|t)|xl(s?x)|do(c?x)|flv|x-flv)$ 43200 99% 43200 ignore-no-store ignore-must-revalidate override-expire override-lastmod reload-into-ims
cache_mem 8092 MB

Теперь кэширование происходит не только на жестком диске; мы также можем кэшировать данные в оперативной памяти. Это значение задается для каждого процесса Squid, поэтому его следует учитывать при использовании перенаправителей, таких как SquidGuard.

maximum_object_size_in_memory 1024 KB

Максимальный размер объекта в памяти, который squid будет хранить в RAM. Также можно объявить минимум.


memory_replacement_policy heap GDSF
cache_replacement_policy heap GDSF

Как видите, одна из них - это политика замены кеша в оперативной памяти, а другая - на жестком диске. Есть 2 политики GDSF и LFUDA. Первый стремится улучшить процент попаданий в кеш, имея под рукой много мелких объектов, второй - наоборот, он сохраняет объекты в кеше независимо от их размера.

Вопрос, который, как мне кажется, вы задаете мне в данный момент, звучит так: «Какая польза?» Что ж, если учесть, что в вашей среде они выполняют много запросов и мало загрузок используют GDSF, если, наоборот, они выполняют много загрузок и мало запросов LFUDA. Что если я рекомендую LFUDA, когда вы собираетесь делать, я не знаю, кеш на 1 ТБ диска, это более эффективно.

maximum_object_size 4 MB

Максимальный размер объекта, который может быть сохранен

cache_dir aufs /media/proxy249/cache 100 16 256

Обратите внимание, где будет храниться кеш, важно, если вы используете ufs, aufs или diskd, все 3 работают более или менее одинаково, разница в том, что aufs и diskd работают с отдельными процессами для выполнения операций ввода-вывода на жестком диске и избегайте зависания процессов squid во время этих операций, дополнительно на diskd вы можете указать количество потоков, которые у вас будут для этой задачи. Я рекомендую aufs, если у вас хорошая команда.

Размер 100 (мегабайт), можно поставить 100000, это почти 100гб в зависимости от вашей доступности. 16 - это количество папок, а 256 - количество подпапок. Вы можете играть с обоими значениями, в зависимости от того, насколько быстры ваши диски и сколько ресурсов у вас есть.


cache_swap_low 90
cache_swap_high 95

Эти параметры представляют собой заменяющие значения объектов, это минимальное и максимальное значение в качестве водяного знака в соответствии с squid, где эти числа указаны в процентах (%), а в очень маленьком кэше 5%, как это прямо сейчас, будет, скажем, 300 объектов в секунду , но в очень больших кэшах мы будем говорить о тысячах МБ

На этом пока всё. Оставляйте комментарии, а также принимайте во внимание сообщения тех, кто говорил, что не может кэшировать и фильтровать HTTPS (SSL) страницы в Squid 3.5 и выше; я скоро это исправлю, так что следите за обновлениями в этом блоге.


Добавить в качестве предпочтительного источника в Google