Распределенные файловые системы

Распределенные файловые системы известны и как сетевые файловые системы.

• 9P — Распределённая файловая система для ОС Plan 9 и Inferno. Одна из версий v9fs. Нет ACL.

• AFS (Andrew File System) — масштабируемая и независимая от расположения, имеет сильный кэш клиент и использует Kerberos для авторизации. Различные внедрения используют оригинальные части от IBM (ранее Transarc), Arla и OpenAFS.

• Arla — Свободно распространяемые сервер и клиент с поддержкой AFS

• Apple Filing Protocol (AFP) от Apple Computer. AFP может использовать протокол Kerberos для авторизации.

• CIFS — Сетевая файловая система, основанная на SMB с поддержкой UNIX прав и блокировок, при этом использующая DNS имена машин, а не NetBIOS, в отличие от SMB.

• DCE Distributed File System (DCE/DFS) от IBM (ранее Transarc) похожа на AFS и полностью соответствует стандарту POSIX и стандартам систем высокой доступности. Доступна для ОС AIX и Solaris под запатентованной лицензией.

• NetWare Core Protocol (NCP) от Novell используется в сетях, основанных на NetWare.

• Network File System (NFS) изначально от Sun Microsystems, теперь является стандартом в UNIX-подобных сетях. NFS может использовать протокол Kerberos для авторизации и кэш клиента.

• OpenAFS — Открытая реализация распределенной файловой системы AFS.

• Self-certifying File System (SFS), Глобальная сетевая файловая система, разработанная для безопасного доступа к файлам через различные административные домены.

• Server Message Block (SMB) Изначально IBM (большинство общих версий серьезно модифицировано Microsoft) — является стандартом в Windows-ориентированных сетях. SMB также известна как Common Internet File System (CIFS) — Общая Файловая система в Интернет. SMB может использовать протокол Kerberos для авторизации.

Распределенные параллельные файловые системы с защитой от сбоев

Распределенные файловые систем, являющиеся параллельными и с защитой от сбоев, разделяют и реплицируют данные на многие сервера для высокой производительности и обеспечения целостности данных. Даже когда сервер дает сбой, данные не теряются. Данные файловые системы используются в высокоскоростных вычислениях и кластерах высокой доступности.

Все здесь перечисленные файловые системы фокусируются на высокой доступности, масштабируемости и высокой производительности, если не указано иначе.

• dCache От компаний Fermilab и DESY, бесплатная файловая система (однако не относится к свободному программному обеспечению из-за лицензионных ограничений.

• ExaFS — Распределенная файловая система от Exanet. Идет как часть ExaStore, основанном на Linux NAS решении запущенном на оборудовании Intel, обслуживает NFS v2/v3, SMB/CIFS и AFP для Microsoft Windows, Mac Os, Linux и других UNIX клиентов. Доступна под патентованной лицензией.

• Gfarm файловая система использует OpenLDAP или PostgreSQL для метаданных и FUSE или LUFS для монтирования. Доступна в Linux, FreeBSD, NetBSD и Solaris под лицензией X11.

• GlusterFS Настраиваемая, высоко производительная кластерная файловая система, как часть GNU Clustering Platform. Доступна для любой POSIX совместимой операционной системы, под лицензией GPL.

• GPFS — General Parallel File System, виртуальная файловая система для параллельной обработки данных разработанная IBM. Поддерживает репликацию между подсоединенными блочными устройствами хранения. Доступна в AIX и Linux. Симметрична или не симметрична (настраиваемо).

• Google File System — Кластерная система оптимизированная для работы с большими блоками данных по 64 Мб, а также обладающая повышенной защитой от сбоев. Вся информация копируется и хранится в трех местах одновременно, при этом система способна очень быстро находить реплицированные копии, если какая-то машина вышла из строя. Задачи автоматического восстановления после сбоя решаются с помощью программ, созданных по модели MapReduce. Является коммерческой тайной компании Google. Доступна только через Google App Engine.

• IBRIX Fusion — Программный пакет Fusion Software Suite, реализующий кластерную файловую систему Segmented File System. Создана компанией IBRIX. Доступна в Linux под патентованной лицензией.

• Lustre — Предназначена для использования в больших Linux кластерах (от 1000 машин) Используется на многих самых производительных кластерах в мире. Лицензия GNU GPL.

• MogileFS — Распределенная файловая система созданная в рамках проекта LiveJournal и реализованная на уровне многоплатформенного приложения на Perl. POSIX не совместима, использующая плоское пространство имен, уровень приложений, использует MySQL для метаданных и протокол HTTP для транспорта. Разработана компанией Danga Interactive. Доступна в Linux (но может быть портирована) под лицензией GPL.

• Isilon OneFS — Кластерная файловая система OneFS позволяет хранить более 150 Тбайт данных. Является коммерческой тайной компании Isilon.

• OneFS distributed file system — Компания Isilon. Основанная на ОС BSD на выделенном Intel оборудовании, обслуживает NFS v3 и SMV/CIFS для Windows, Mac OS, Linux и других UNIX клиентов, доступна под патентованной лицензией.

• Panasas ActiveScale File System (PanFS) — Компания Panasas — использует объектные устройства хранения. Доступна в Linux под патентованной лицензией.

• PeerFS — Radiant Data Corporation — Фокусируется на высокой доступности и высокой производительности, использует репликацию типа точка-точка с множественными источниками и целями. Доступна в Linux под патентованой лицнзией. software]] license.

• TerraGrid Cluster File System — Terrascale Technologies Inc — Рализует связанность кэша под запросу и использует стандарт iSCSI и модифицированную версию файловой системы XFS. Доступна в Linux под патентованной лицензией.

В разработке:

• zFS, от компании IBM (не путать с ZFS от Sun Microsystems) фокусируется на кооперативном КЭШе и распределенных транзакциях, использует объектные устройства хранения. Находится в разработке и на данный момент недоступна.

• Hadoop Distributed File System — Бесплатный клон GoogleFS — в разработке

• Kosmos Distributed File System — Файловая система разработанная Kosmix, теперь является свободным ПО.

• HAMMER/ANVIL от Matt Dillon

• OASIS от ETRI. Весьма схожа с Lustre или Panasas. Доступна в Linux через специальную программу переноса программ, предоставленную ETRI.

• Parallax — Файловая система — http://www.cl.cam.ac.uk/~akw27/papers/parallax-hotos-final.pdf

• XtreemFS [8] Бесплатная открытая параллельная, объектно-ориентированная файловая система. Разработана как часть XtreemOS [9] ОС, полностью интегрирована с управлением Virtual organization (VO).