1-freelance.ru

Журнал "Фрилансер"
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Deploying the Next Generation of High-Capacity Hard Drives

Deploying the Next Generation of High-Capacity Hard Drives

It has been 30 years since a small software company made an agreement with IBM to produce the first operating system for what would become the IBM PC. That company was, of course, Microsoft and the operating system was DOS or PC-DOS, as it became branded by IBM. DOS became the basis for the operating system that would be broadly adopted as the standard in the PC industry and would also serve as the foundation for many aspects of the Microsoft Windows operating system.

In those early days, no one really envisioned the incredible advances in the computer industry that would lead ultimately to today’s super-fast processers, massive solid state memory and huge hard drives, now commonly available in sizes up to 2 TB. Some of the basic design decisions made in the original computer architecture, both hardware and software, left the industry with inherent limitations. One of those limitations is impacting the storage industry today: the ability to address hard drives that exceed 2.1 TB capacities.

One of the most fundamental elements of storage architecture is the sector. A sector is the smallest physical block of data represented on a hard drive. Over 30 years ago, the sector was defined as 512 bytes in length and that definition has persisted to this day. Today there is a move to transition to a larger 4K sector (also called Advanced Sector Format), but this transition will not be implemented at the host level (e.g. hard drive controllers, OS, BIOS) for a number of years. In the meantime, the storage industry must still contend with a base sector size of 512 bytes, despite the growing need for more capacity.

It turns out that another key architectural decision was made relating to hard drive sectors. This was connected with the space set aside to address sectors. Each sector is assigned a unique address that defines the data’s location on a hard drive. This is called a logical block address (LBA). Back in the late 1970s and early 1980s, no one could fathom a hard drive even approaching 1 TB, so limiting the LBA range to 2.1 TB was thought to be more than enough. As a result, operating systems, BIOS controllers, HDD controllers and device drivers use the same basic limitation of 2.1 TB for the maximum size of a hard drive or logical storage device.

Now that the industry is on the verge of releasing hard drives that exceed this 2.1 TB capacity limitation, attention is being focused on how to deploy this new generation of high-capacity storage solutions in light of these historical architectural design limits. It is best to do this in the context of looking at two distinct market segments: the desktop PC and workstation segment, and the enterprise segment focusing on multi-drive storage arrays and servers.

The Desktop Market

In evaluating how to deploy hard drives larger than 2.1 TB in a desktop environment, three distinct installation conditions must be considered:

  1. Deployment of any hard drive with a native capacity larger than 2.1 TB using Microsoft Windows XP or older, or using another operating system that is not capable of long LBA addressing
  2. Deployment of a non-bootable hard drive with a native capacity larger than 2.1 TB using an operating system that is capable of long LBA addressing
  3. Deployment of a bootable drive where the native drive size is larger than 2.1 TB.
Condition One

Unfortunately, there is no working solution for using hard drives larger than 2.1 TB with any operating system that does not support long logical block addresses, often referred to as long LBA addressing. This includes Windows XP, which still has a sizable installed base. Long LBA addressing extends the number of bytes used in a Command Descriptor Block (CDB) to allow access to an LBA range that exceeds the 2.1 TB limitation. A CDB is simply a data structure that is used to format data passed between host computers and hard drives. A key element of this data is the LBA, which tells the hard drive which specific sector of data is being addressed.

Читайте так же:
Болты для крепления материнской платы

Operating systems without this long LBA addressing capability cannot recognise a hard drive larger than 2.1 TB. In fact, using a hard drive larger than 2.1 TB in a Windows XP system can produce unpredictable results, depending on the BIOS used. It may recognise only the capacity up to the 2.1 TB limit or it may in fact only recognise the capacity over the 2.1 TB limit. So, a 2.5 TB hard drive might be recognised by Windows XP as a 400 GB drive or a 2.1 TB drive, but not correctly as a 2.5 TB drive. Using hard drives with a native capacity larger than 2.1 TB requires Windows Vista, Windows 7 or another long LBA capable OS.

Condition Two

We have now established that the basic operating system needs to support long LBA addressing in order to use a hard drive larger than 2.1 TB. If the desired use of this drive is as a non-bootable drive, only one more requirement remains: the drive must be partitioned using a GUID Partition Table (GPT).

A GPT was defined as part of a more comprehensive specification originally launched by Intel with the purpose of creating a replacement for the original PC BIOS design. This standard was named the Extensible Firmware Interface (EFI) and the specification is now managed by the Unified EFI Forum (UEFI). In addition to other enhancements, a GPT allows for a much larger LBA addressing scheme, which enables the use of hard drives in excess of 2.1 TB in size. Furthermore, the legacy standard MBR (Master Boot Record) will result in the same limitations discussed earlier and limits the hard drive capacity to 2.1 TB.

Condition Three

Clearly, the use of a single hard drive in a desktop PC configuration is very common. In this case, the hard drive must be bootable. Using a hard drive larger than 2.1 TB for a bootable configuration has the same requirements as described above in condition two, with two additional requirements.

First, in order to overcome problems in deploying hard drives larger than 2.1 TB (for bootable drives), it is important to look at the legacy PC BIOS. The PC BIOS standard that has been used for many years also has the same fundamental limitation in not being able to address a hard drive larger than 2.1 TB. Today the only solution to this limitation is the use of a new BIOS standard, also part of the work of the UEFI Forum. The UEFI BIOS has a number of extensions that go beyond the capabilities of the older PC BIOS system. Among these is the capability to address hard drives larger than 2.1 TB. To date, however, the use of a UEFI BIOS in the desktop market is rare. Nevertheless, with the introduction of a new generation of high-capacity hard drives, adoption of UEFI BIOS systems will accelerate.

The second requirement for deployment of a hard drive larger than 2.1 TB is the use of a compatible hard drive controller driver. One of the most popular drivers used in the PC marketplace is the Intel Matrix Storage driver. This driver, which is commonly a component of the Windows Vista and Windows 7 OS configuration, also shares the limitation of not properly addressing hard drives larger than 2.1 TB. Intel is planning an update to this driver in the near future. In the meantime, the standard Windows HDD driver included in the Windows Vista and Windows 7 installations solves this issue.

Servers and Storage Arrays

Fundamentally, the requirements described for the standard desktop market in the use of hard drives larger than 2.1 TB also apply to the server and storage array markets. The most significant difference in these two markets is the dominant use of Host Bus Adapters (HBAs) or RAID controllers to manage and control multiple hard drives, common in enterprise solutions.

The use of an HBA or RAID controller simplifies the adoption of these new larger hard drives as the addressing and control issues are essentially all managed by the HBA or RAID controller. The details of the sizes and types of drives behind the controller are, unfortunately, hidden from the OS.

Читайте так же:
Жесткий диск начал щелкать

Furthermore, these advanced storage solutions typically use a very small hard drive as the primary boot drive, while depending on the HBA or RAID controller to manage the remaining hard drives installed as part of the total solution. Seagate recommends checking with your RAID or HBA controller manufacturer to explore the use of hard drives larger than 2.1 TB, ensuring that they are compatible. Several controller manufacturers are limiting this support to the latest 6 Gb/s SAS and SATA controllers, which, in turn, may require an upgrade if you are currently using a 3 Gb/s controller.

If you choose to run a hard drive larger than 2.1 TB off an existing legacy controller without the long LBA addressing capability, you must mode select the drive to de-stroke the drive capacity to match the capabilities of your legacy controller.

Summary

There are near-term obstacles to overcome to allow broad-based adoption of hard drives larger than 2.1 TB in the desktop environment, particularly in the case of bootable drives. The adoption of these new high-capacity drives in the enterprise market has fewer and simpler limitations. While these conditions may seem complex in the context of a detailed explanation, a concise requirements summary is shown in Table 1.

Second Drive (non-bootable) Solution Desktop, Workstation

RequirementExplanation
Long LBA capable operating system (Windows Vista, Windows 7 or modified Linux)XP is not capable of >2.1 TB
GUID Partition Table (GPT) requiredLegacy Master Boot Record (MBR) partitions are limited to 2.1 TB in size

Primary Drive (bootable) Solution Desktop, Workstation

RequirementExplanation
Long LBA capable operating system (Windows Vista [64-bit], Windows 7 [64-bit] or modified Linux)XP is not capable of >2.1 TB
GUID Partition Table (GPT) requiredLegacy Master Boot Record (MBR) partitions are limited to 2.1 TB in size
A Unified Extensible Firmware Interface (UEFI) BIOS is required for bootable drives >2.1 TBOlder BIOS do not include support for drives >2.1 TB. Updated BIOS with UEFI support for this purpose are in development.
HDD driver support for >2.1 TB hard drivesUpdates to standard HDD drivers are being modified and tested. The standard Windows driver is ready and Intel is testing modifications.

Storage Server or Storage Array Solutions

RequirementExplanation
Confirmed HBA or RAID controller support for long LBA addressingControllers manage the HDD addressing
Mode Select to de-stroke drive for use with legacyLegacy controllers do not support long LBA addressing
Call to Action

Even small businesses need terabytes of storage today. As storage demands continue to grow and the storage market continues to make improvements in capacity, performance and cost efficiencies, larger hard drives will continue to be a vital part of these improvements. This is particularly true in the enterprise markets where data centres and cloud computing readily adopt high capacities where they can be deployed quickly with significant leverage in driving operational efficiencies and reducing storage costs. The next generation of large hard drives, extending past the 2.1 TB limit for legacy systems, will begin delivery in the summer or autumn of 2010. In order to minimise integration complexities and to allow customers to take advantage of the benefits of these new larger hard drives, system builders, integrators and storage solution providers need to act now.

If your product roadmaps focus on storage arrays and servers that depend on RAID controllers and HDD host bus adapters, contact your vendor and ask about their plans for high-capacity HDD support above 2.1 TB.

If the solutions you develop are more focused on desktop, workstation or server solutions that depend on motherboard-equipped HDD controllers and OS support, you should begin these conversations with your component system suppliers. Intel and Microsoft are key enablers and they are already engaged in the discussions to solve these limitations. However, your voice is important in establishing a sense of urgency for these suppliers, as well as the broader ecosystem of suppliers who can help implement the solutions to overcome these legacy limitations for HDD support above 2.1 TB.

Читайте так же:
Материнская плата asus a68hm k характеристики

Working together, we can continue to bring high-capacity, high-performance computing and storage solutions to market and continue to drive productivity and bring economic benefits to our industry.

Технология Multi Actuator от Seagate:
революционный прорыв в производительности жестких дисков

Увеличение емкости жестких дисков не решает всех проблем. Не менее важны скорость доступа к данным, уменьшение системных задержек и сокращение времени отклика важнейших бизнес-приложений. Все это в совокупности повышает эффективность информационных систем предприятий и помогает инновационным компаниям решать важнейшие задачи цифровой трансформации своей деятельности.

Seagate Multi Actuator

Ориентируясь на современные технологические тенденции, Seagate работает над созданием технологии Multi Actuator, позволяющей удвоить производительность жестких дисков новых поколений и повысить эффективность гипермасштабируемых центров обработки данных. Эта технология способна вывести на новый уровень производительность критически важных приложений и гарантировать клиентам Seagate возможность эффективной обработки постоянно растущих объемов информации.

Актуатором называется компонент жесткого диска, который перемещает магнитные головки относительно поверхности носителя для считывания и записи данных. В современных дисках актуатор выполняется в виде единого конструктивного узла, обеспечивающего синхронное движение всех головок, каждая из которых установлена на конце штанги актуатора.

Первое поколение технологии Multi Actuator от Seagate предоставит возможность оснащать жесткие диски двумя независимыми узлами актуаторов, имеющими общий центр поворота. Каждый из них осуществляет управление половиной штанг и головок. Это позволяет разделить один физический диск на два независимых устройства, способных одновременно выполнять различные операции чтения и записи. Жесткий диск, таким образом, получает возможность удвоить производительность при сохранении первоначальной «одноактуаторной» емкости.

— Внедряя технологии записи с энергетической поддержкой (Energy Assisted Magnetic Recording, EAMR), такие как магнитная запись с нагревом носителя (Heat-Assisted Magnetic Recording, HAMR), в Seagate стремятся к экспоненциальному росту емкости дисковых накопителей, — утверждает Аарон Огус (Aaron Ogus), архитектор хранилища Microsoft Azure Storage. — Однако до сих пор в центрах обработки данных не удавалось заметно увеличить производительность большинства приложений только за счет увеличения емкости хранения из-за ограничений в эффективности выполнения операций ввода-вывода. Два актуатора в жестких дисках решают эту проблему. Они обеспечивают значительный рост показателя IOPS (Input/Output Operations per Second), позволяют провайдерам облачных услуг использовать преимущества накопителей повышенной емкости.

Технология магнитной записи с нагревом носителя Heat-Assisted Magnetic Recording (HAMR) обеспечивает значительное увеличение емкости дисков за счет нового вида покрытия, позволяющего уменьшить размеры магнитной области, хранящей один бит данных, и расположить биты чрезвычайно близко друг к другу. Пилотная партия новых жестких дисков серии Exos с поддержкой технологии HAMR будет поставлена в 2018 году, а к концу следующего года эти накопители появятся в широком доступе.

— Долгосрочное лидерство в разработке всех компонентов жестких дисков позволило предложить решение с прорывной производительностью, не выходя за рамки отраслевых стандартов, — уверен Джеймс Борден (James Borden), главный стратег Seagate в области разработки новых продуктов. — Решение Multi Actuator базируется на проверенных, хорошо зарекомендовавших себя технологиях и соответствует отраслевым стандартам, что позволяет легко и «бесшовно» интегрировать его в современную ИТ-инфраструктуру.

Технология Multi Actuation распространяет на дисковые накопители идеологию параллелизма. Теперь хост-компьютер получает возможность работать с каждым диском как с двумя независимыми накопителями. К примеру, хост может одновременно направить два запроса на извлечение различных данных, хранящихся на одном диске высокой емкости, который обеспечивает вдвое более высокое быстродействие по сравнению с дисками традиционной конфигурации. Технология Multi Actuator коренным образом улучшает конструктивные решения, используемые в жестких дисках, позволяет формировать в каждом накопителе независимые потоки данных, вдвое увеличивая производительность операций ввода-вывода.

Параллелизм — это стратегия построения ИТ-архитектуры, в рамках которой хост-компьютер направляет одновременно множество запросов на выполнение операций различными устройствами. Такая организация вычислительного процесса существенно ускоряет выполнение рабочих заданий. Одним из примеров использования параллелизма в современных гипермасштабируемых дата-центрах является одновременное обращение к значительному числу жестких дисков для чтения и записи данных.

— По сути, мы предлагаем жесткий диск такой большой емкости, которая нужна сегодня нашим заказчикам, и без каких-либо рисков. Как по мановению волшебной палочки, удваиваем его показатель IOPS, — резюмирует Борден. — ИТ-архитекторы получают максимальную емкость хранения, минимальную стоимость терабайта, экономию физического пространства в ИТ-оборудовании.

Читайте так же:
Звуковая карта mbox pro

Однако емкость дисков — лишь часть решения проблемы. Для эффективного использования данных необходимо также повышать скорость доступа к ним. Поэтому создание современных устройств хранения требует одновременного роста их емкости и производительности. Емкость и стоимость накопителей связаны, как правило, линейной зависимостью. Однако на повышение производительности оказывает заметное влияние также специфика рабочей нагрузки и архитектура системы хранения каждого конкретного клиента. Жесткие диски должны быть оптимизированы по показателю IOPS/TB при минимальной стоимости хранения терабайта данных. В технических терминах это означает оптимизацию показателя IOPS и снижение задержек в режиме случайного выполнения операций ввода-вывода, а также повышение быстродействия в режиме последовательной передачи данных.

Некоторых успехов в области роста производительности можно добиться за счет повышения функциональности микропрограммного кода жестких дисков, а также установки твердотельных накопителей, что требует сегодня значительных инвестиций. Однако провайдерам современных гипермасштабируемых облачных сред нужны надежные и легко масштабируемые решения для хранения данных, которые отвечают заданным критериям совокупной стоимости владения и обеспечивают выполнение соглашений о качестве обслуживания, заключенных с клиентами.

Совместное использование технологий HAMR и Multi Actuator в дисках Seagate обеспечивает кардинальное улучшение важнейших параметров дисковых накопителей, предоставляя потребителям доступ к жестким дискам принципиально нового уровня, отвечающим требованиям современных центров обработки данных.

Самый большой жесткий диск

С каждым годом поток информации на пользователей Сети увеличивается, так что потребители заинтересованы в накопителях данных большего объема. Производители компьютеров и периферии разрабатывают это направление, конкурируя на рынке.

Жесткие диски

Жесткие диски

Жесткая конкуренция за покупателя в IT-сфере является двигателем прогресса — если в 2015 году пределом являлся внешний жесткий диск в 8 терабайт, то уже сегодня самый большой жесткий диск для обычных потребителей способен вместить в 2 раза больше. Если говорить о жестких дисках для корпоративных нужд, то емкость таких устройств в десятки тысяч раз больше.

Самый большой жесткий диск в мире для частных потребителей

На сегодня рекордсменом по объему памяти среди устройств для хранения данных для персональных компьютеров считается SSD 15,36 Тб компании Samsung; стоит такое удовольствие $10 000. Достижение такого рекорда стало возможным благодаря разработке чипов NAND, способных хранить в разы больше информации, чем стандартные модули вместимостью 128 Гб. Прогрессивные чипы NAND вмещают 48 слоев памяти V-NAND.

Жесткий диск Samsung SSD 15,36 Тб

Жесткий диск Samsung SSD 15,36 Тб

Еще 4 года назад рекордом вместимости считались 24 слоя, но инженеры Samsung проявили креативное мышление и разместили кремниевые элементы не в одной плоскости, а поставили их на ребро – такая ориентация кремниевых элементов дает жесткому диску работать оперативнее. NAND-чипы являются трехмерными, их концепция аналогична трехмерным транзисторам в процессорах последнего поколения, поскольку разработчики так же оптимально задействовали доступную площадь кристалла.

Инновационный подход к устройству чипов позволил увеличить емкость памяти в гаджетах, а южнокорейская компания на порядок обошла главных конкурентов Western Digital и Seagate. Кстати, твердотельный накопитель SSD 15,36 Тб был анонсирован впервые еще в 2015 году на IT-выставке, но в магазинах емкие внешние диски появились только в конце 2016 года и вызвали переворот на рынке. Дело в том, что внешние HDD с твердотельными накопителями (SSD) традиционно отличались следующими преимуществами:

  • скоростная передача информации,
  • компактные размеры.

Что касается минусов, то раньше внешние жесткие диски типа SSD по сравнению с внешними HDD с традиционной памятью (HDD) отличались сравнительно небольшим объемом хранения информации, но по состоянию IT-рынка на 2017 год это утверждение уже не соответствует действительности. Вместительный SSD 15,36 Тб компании Samsung уже в магазинах. Естественно, гаджет предназначен не для хранения фильмов и игрушек — ценовой уровень такого накопителя слишком высок.

Реклама самого большого жесткого диска в мире

Реклама самого большого жесткого диска в мире

Целевая аудитория самого большого внешнего жесткого диска — профессиональные фотографы, инженеры и прочие профи, которые используют в работе «тяжелые» профессиональные программы. Конкуренты дышат компании Samsung в затылок — большая часть производителей уже способны предложить покупателям внешние диски емкостью в 10 терабайт, а потому в ближайшее время возможен очередной рекорд, который обновит высокую планку в секторе портативных жестких накопителей.

Жесткий диск с самым большим объемом хранения данных для корпоративных заказчиков

Для тех потребителей, которые желают сохранить интеллектуальную собственность в недоступном для хакеров месте, предлагается жесткий накопитель ёмкостью 100 петабайт – это 100 000 терабайт, или 1 000 000 гигабайт. Такое устройство является портативным, но в карман его не положишь — габариты мегагаджета подразумевают транспортировку с помощью морского контейнера или грузовика Snowmobile.

Читайте так же:
Материнская плата asrock m3a770de

Грузовик Snowmobile от компании Amazon

Грузовик Snowmobile от компании Amazon

Впрочем, в магазины такие хранилища не поступают. Компания Амазон, владеющая облачным хранилищем Amazon Web Services (AWS), использует специальные 18-колесные грузовики для перевозки информации — архивов компаний, киностудий, библиотек, информационных баз госучреждений или армии, научных и исследовательских институтов. Фура наполнена жесткими дисками и оборудованием и считается хранилищем информации с самой большой емкостью.

Логотип Amazon Web Services

Логотип Amazon Web Services

Сервис Amazon Snowmobile доступен для желающих — файлы и картотеки из мобильного хранилища доставляются в дата-центр заказчика или компании AWS и передаются на сервер клиента или в облачное хранилище Amazon посредством высокоскоростных оптических линий. Сервис Snowmobile задействуется для снижения нагрузки на оптоволоконные линии, по которым пользователи облачных хранилищ компании Amazon загружают информацию в личное облако объемом 80 терабайт. Скорость передачи по оптоволокну не бесконечна и составляет 10 гигабит/секунду. Так что для экономии времени клиент передает в Amazon жесткие диски, с которых информация будет загружена в облако, минуя сеть.

В распоряжении Amazon 10 таких грузовиков, которые экономят время пользователей компании. Облачное хранилище перерабатывает гигантский информационный поток, а для передачи 1 эксабайта информации требуется 26 лет. Машины AWS могут перевезти указанный объем информации за 6 месяцев — разница ощутима! Как происходит перемещение информации с помощью Snowmobile? Такой грузовик подъезжает к дому или офису заказчика и подключается к сети с помощью нескольких кабелей со скоростью передачи 40 гигабит/секунду. Если задействовать группу кабелей, то накопители в грузовике будут заполняться со скоростью до 1 терабит/секунду. Так что 100 000 терабайт загружаются в грузовик за 10 дней.

Топ-5 жестких дисков большой емкости: новые XXXL-модели

Топ-5 жестких дисков большой емкости: новые XXXL-модели

Если речь идет о хранении больших массивов данных, у вас практически нет никакого иного пути, кроме как использовать классические 3,5-дюймовые жесткие диски. Они уже предлагают аж до 10 Тбайт дискового пространства по более-менее подъемным ценам. Но, разумеется, дешевыми такие гигантские хранилища не являются. Мы протестировали лучших HDD-монстров.

В нашем рейтинге 3,5-дюймовых жестких дисков вы найдете перечень всех HDD для ваших ПК, отсортированный по итоговой оценке, полученной в стенах испытательной лаборатории. В настоящее время жесткие диски для настольных ПК достигают емкости в 10 Тбайт, а 6- и 8-терабайтные модели уже достаточно сильно подешевели. Они отлично подходят для компьютеров и в большинстве случаев даже для NAS-систем.

В нижеприведенной таблице мы показываем вам всегда актуальный «Топ-5» 3,5-дюймовых жестких дисков, емкость которых составляет, по меньшей мере, 6 Гбайт. Кроме того, мы более подробно рассказываем о впечатляющем 10-терабайтном гиганте и приводим пример более доступной по цене альтернативы.

Гигантские хранилища: 10-терабайтные монстры

Невероятный объем жесткого диска для ПК и NAS: такие 3,5-дюймовые модели емкостью 10 Тбайт, как IronWolf от компании Seagate, с ценником около 25 000 рублей, могут проделать внушительную дыру в вашем бюджете. При этом высокая стоимость снижает оценку за соотношение цены и качества в лучшем случае до средней. Несмотря на это, IronWolf до сих пор относится к числу самых доступных представителей HDD-монстров.

Во время теста IronWolf со своей скоростью вращения шпинделя 7200 оборотов в минуту зарекомендовал себя в качестве быстрого жесткого диска. После форматирования доступными для использования остаются 9315 Гбайт дискового пространства. Контроллер жесткого диска позволяет считывать информацию со средними 200,6 Мбайт в секунду, записываются данные с такой же скоростью.

Данный жесткий диск подходит для длительной работы и даже позиционируется на рынке как HDD для NAS-систем, поэтому мы можем от всей души порекомендовать вам IronWolf для этой области применения.

Альтернатива: Toshiba X300 6TB

Топ-5 жестких дисков большой емкости: новые XXXL-модели

С ценником на уровне 13 700 рублей несколько более доступная и одновременно с этим вполне практичная альтернатива производится компанией Toshiba и входит в её X300-серию. 6-терабайтную модель мы уже протестировали. Во время испытаний она оказалась убедительной благодаря своим приличной скорости передачи данных и умеренному энергопотреблению.

В стенах лаборатории этот жесткий диск продемонстрировал среднюю скорость 175 Мбайт в секунду как при чтении, так и при записи данных. При этом данная модель от Toshiba не является разработанной для NAS-систем и не подходит для непрерывной работы, поэтому предложенный нами альтернативный вариант мы рекомендуем использовать только для обычного настольного компьютера.

голоса
Рейтинг статьи
Ссылка на основную публикацию
Adblock
detector