From b69fe7d7f103e90ec3c5e3c0d0f21f91df6ff60c Mon Sep 17 00:00:00 2001 From: Shinsuke Sugaya Date: Thu, 10 Sep 2026 11:39:50 +0900 Subject: [PATCH] docs(15.9): Amazon S3 moved to the fess-storage-s3 plugin The AWS SDK left the distribution, so s3:// crawling and the s3 and s3_compat storage types come from the fess-storage-s3 plugin. The new upgrade section follows the Google Cloud Storage one it sits beside, with each language's own sentence frames rather than a fresh translation. storage.type still defaults to auto, which resolves to S3 when no endpoint is set, so the note says the storage page stops working until the plugin is installed even for an installation that never named s3 itself. It also says what survives: storage.* lives in WEB-INF/conf/system.properties, and an existing crawler.file.protocols is not replaced by an upgrade. The GCS section is corrected in the same pass. Three of its statements were wrong, and one has been falsified by this change: - "rejected as an invalid protocol" was half the story. CreateForm.paths carries @UriType(protocolType = ProtocolType.FILE), and UriTypeValidator resolves that to ProtocolHelper.getFileProtocols(), so a fresh installation does refuse to save the path. An installation that upgrades keeps its own crawler.file.protocols, so there the path is accepted and no crawler client handles it. Both behaviours are now described. - "the storage page reports that no client is registered" was not true at all: AdminStorageAction.getFileItems swallowed the failure into a debug line and rendered an empty file list. codelibs/fess#3427 is what makes it report. - "Amazon S3 and S3-compatible storage stay in the distribution and are unaffected" is now false, and points at the new section instead. - The shipped crawler.file.protocols was quoted as file,smb,smb1,ftp,s3, which this change makes file,smb,smb1,ftp. Corrected in the GCS section, the new S3 section, the removed-storage-protocol section, config/crawler-advanced.rst and en/config/properties.rst. No occurrence of the old value is left in the 15.9 trees. storage-guide, fileconfig-guide, crawler-advanced and general-guide gain the plugin prerequisite in the position the GCS note already occupies in each. The one note under S3 Settings names S3-compatible storage as well, rather than being duplicated under the MinIO subsection that the same plugin serves. Verified with docutils 0.22.4 across 43 files, before and after, parsed the way Sphinx parses (doctitle_xform=False, the conf.ini substitutions prepended): system messages identical per file as counters with line prefixes stripped, no new unparsed markup in the rendered text, one document-level section per file throughout, the section count up by exactly one on the seven upgrade.rst and unchanged on the other 36, the note count up by exactly the notes added, and every inline literal introduced parsed as a literal node -- which is the check that catches an inline start-string sitting against a CJK character. Heading rules were compared by display width, counting East Asian wide and fullwidth characters as two; the seven new headings match their titles exactly, as the seven GCS headings do. Korean pads to display width as well, so its rules are padded. The checks were confirmed non-vacuous against known-broken inputs -- literals and bold markup jammed against CJK text, a list-table row with the wrong cell count, an unindented note body, a short heading rule -- and against correct controls, so they are not simply always-red. ko/15.9/admin/storage-guide.rst is an earlier translation with no per-backend subsections, so its note goes after the storage-server list and omits the sentence about the Auto type, which that page never introduces. What is still out of step there is unchanged by this commit. --- de/15.9/admin/fileconfig-guide.rst | 8 ++++- de/15.9/admin/general-guide.rst | 2 +- de/15.9/admin/storage-guide.rst | 7 ++++ de/15.9/config/crawler-advanced.rst | 10 ++++-- de/15.9/install/upgrade.rst | 42 ++++++++++++++++++++---- en/15.9/admin/fileconfig-guide.rst | 7 +++- en/15.9/admin/general-guide.rst | 2 +- en/15.9/admin/storage-guide.rst | 6 ++++ en/15.9/config/crawler-advanced.rst | 9 ++++-- en/15.9/config/properties.rst | 2 +- en/15.9/install/upgrade.rst | 38 ++++++++++++++++++---- es/15.9/admin/fileconfig-guide.rst | 8 ++++- es/15.9/admin/general-guide.rst | 2 +- es/15.9/admin/storage-guide.rst | 7 ++++ es/15.9/config/crawler-advanced.rst | 10 ++++-- es/15.9/install/upgrade.rst | 45 +++++++++++++++++++++----- fr/15.9/admin/fileconfig-guide.rst | 8 ++++- fr/15.9/admin/general-guide.rst | 2 +- fr/15.9/admin/storage-guide.rst | 7 ++++ fr/15.9/config/crawler-advanced.rst | 10 ++++-- fr/15.9/install/upgrade.rst | 43 ++++++++++++++++++++---- ja/15.9/admin/fileconfig-guide.rst | 7 +++- ja/15.9/admin/general-guide.rst | 2 +- ja/15.9/admin/storage-guide.rst | 6 ++++ ja/15.9/config/crawler-advanced.rst | 9 ++++-- ja/15.9/install/upgrade.rst | 39 ++++++++++++++++++---- ko/15.9/admin/fileconfig-guide.rst | 2 +- ko/15.9/admin/general-guide.rst | 2 +- ko/15.9/admin/storage-guide.rst | 5 +++ ko/15.9/config/crawler-advanced.rst | 9 ++++-- ko/15.9/install/upgrade.rst | 39 ++++++++++++++++++---- zh-cn/15.9/admin/fileconfig-guide.rst | 6 +++- zh-cn/15.9/admin/general-guide.rst | 2 +- zh-cn/15.9/admin/storage-guide.rst | 5 +++ zh-cn/15.9/config/crawler-advanced.rst | 8 +++-- zh-cn/15.9/install/upgrade.rst | 37 +++++++++++++++++---- 36 files changed, 374 insertions(+), 79 deletions(-) diff --git a/de/15.9/admin/fileconfig-guide.rst b/de/15.9/admin/fileconfig-guide.rst index d0492a3d0..d82b3c3d1 100644 --- a/de/15.9/admin/fileconfig-guide.rst +++ b/de/15.9/admin/fileconfig-guide.rst @@ -13,7 +13,7 @@ Welche Pfade gecrawlt werden, richtet sich nach dem im „Pfad" angegebenen Prot - ``smb://`` … Windows-Dateiserver/freigegebene Ordner (SMB/CIFS) - ``smb1://`` … Windows-Dateiserver/freigegebene Ordner über das ältere SMB1-Protokoll - ``ftp://`` … FTP-Server -- ``s3://`` … Amazon-S3-Bucket +- ``s3://`` … Amazon-S3-Bucket (erfordert das Plugin ``fess-storage-s3``) - ``gcs://`` … Google-Cloud-Storage-Bucket (erfordert das Plugin ``fess-storage-gcs``) Auf der Datei-Crawl-Konfigurationsseite können Sie Konfigurationen zum Crawlen von Dateien im Dateisystem oder in freigegebenen Netzwerkordnern verwalten. @@ -208,6 +208,12 @@ Für den S3-Zugriff sind Anmeldeinformationen erforderlich. Fügen Sie Folgendes client.secretKey=IHR_GEHEIMER_SCHLÜSSEL client.region=ap-northeast-1 +.. note:: + Die Unterstützung für Amazon S3 und S3-kompatible Speicher kommt aus dem Plugin + ``fess-storage-s3``, das nicht Teil der Distribution ist. Installieren Sie es über die + Seite **System > Plugin** in der Administrationsoberfläche oder mit + ``bin/fess-setup install plugin fess-storage-s3``. + Google Cloud Storage-Buckets crawlen ------------------------------------ diff --git a/de/15.9/admin/general-guide.rst b/de/15.9/admin/general-guide.rst index da0697f83..d2f00d138 100644 --- a/de/15.9/admin/general-guide.rst +++ b/de/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Geben Sie den Speichertyp an. Bei Auswahl von „Automatisch" wird der Speichertyp automatisch anhand des Endpunkts bestimmt. - **Automatisch**: Automatische Erkennung vom Endpunkt -- **S3**: Amazon S3 +- **S3**: Amazon S3 (erfordert das Plugin ``fess-storage-s3``) - **GCS**: Google Cloud Storage (erfordert das Plugin ``fess-storage-gcs``) Bucket diff --git a/de/15.9/admin/storage-guide.rst b/de/15.9/admin/storage-guide.rst index dc85e66a3..09cf74160 100644 --- a/de/15.9/admin/storage-guide.rst +++ b/de/15.9/admin/storage-guide.rst @@ -29,6 +29,13 @@ S3-Einstellungen - Geheimer Schlüssel: AWS-Geheimschlüssel - Region: AWS-Region +.. note:: + Die Unterstützung für Amazon S3 und S3-kompatible Speicher kommt aus dem Plugin + ``fess-storage-s3``, das nicht Teil der Distribution ist. Installieren Sie es über die + Seite **System > Plugin** in der Administrationsoberfläche oder mit + ``bin/fess-setup install plugin fess-storage-s3``. + Bei Auswahl von „Automatisch" wird bei leerem Endpunkt ebenfalls S3 verwendet. + GCS-Einstellungen ~~~~~~~~~~~~~~~~~ diff --git a/de/15.9/config/crawler-advanced.rst b/de/15.9/config/crawler-advanced.rst index 73ef63279..0c5f89f80 100644 --- a/de/15.9/config/crawler-advanced.rst +++ b/de/15.9/config/crawler-advanced.rst @@ -176,7 +176,7 @@ Unterstützte Protokolle - ``http,https`` * - ``crawler.file.protocols`` - Protokolle für Datei-Crawling - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Kodierung der Crawling-Daten - ``UTF-8`` @@ -187,7 +187,7 @@ Konfigurationsbeispiel :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Umgebungsvariablen-Parameter @@ -1001,6 +1001,12 @@ S3/GCS-Crawler-Konfiguration S3-Crawler ---------- +.. note:: + Die Unterstützung für Amazon S3 und S3-kompatible Speicher kommt aus dem Plugin + ``fess-storage-s3``, das nicht Teil der Distribution ist. Installieren Sie es über die + Seite **System > Plugin** in der Administrationsoberfläche oder mit + ``bin/fess-setup install plugin fess-storage-s3``. + Konfiguration für das Crawlen von S3 und S3-kompatiblem Speicher (wie MinIO). Fügen Sie Folgendes zu „Konfigurationsparameter" in den Datei-Crawl-Einstellungen hinzu. diff --git a/de/15.9/install/upgrade.rst b/de/15.9/install/upgrade.rst index 5c5943954..e974d9b8e 100644 --- a/de/15.9/install/upgrade.rst +++ b/de/15.9/install/upgrade.rst @@ -470,7 +470,7 @@ Bei Major-Version-Upgrades wird die Neuerstellung des Index empfohlen. Upgrade von 15.8 auf 15.9 ========================= -Wenn Sie von 15.8 aktualisieren, sind die folgenden sechs Änderungen nicht abwärtskompatibel. +Wenn Sie von 15.8 aktualisieren, sind die folgenden sieben Änderungen nicht abwärtskompatibel. Entfernung des eingebetteten OpenSearch --------------------------------------- @@ -532,13 +532,40 @@ die Seite **System > Plugin** in der Administrationsoberfläche oder mit dem fol $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` ist auch aus dem ausgelieferten ``crawler.file.protocols`` verschwunden, das nun -``file,smb,smb1,ftp,s3`` lautet; das Plugin fügt es bei der Installation wieder hinzu. Bis -dahin wird eine Datei-Crawl-Konfiguration, deren Pfad mit ``gcs:`` beginnt, als ungültiges -Protokoll abgewiesen, und die Speicherseite meldet, dass für ``storage.type=gcs`` kein -Client registriert ist. +``file,smb,smb1,ftp`` lautet; das Plugin fügt es bei der Installation wieder hinzu. Bis dahin +wird eine Datei-Crawl-Konfiguration, deren Pfad mit ``gcs:`` beginnt, als Warnung +protokolliert und liefert nichts. Eine aktualisierte Installation behält ihr eigenes +``crawler.file.protocols``, der Pfad wird also weiterhin akzeptiert, aber kein Crawler-Client +verarbeitet ihn; in einer neuen Installation ist ``gcs:`` kein konfiguriertes Protokoll, +sodass die Administrationsoberfläche das Speichern des Pfades ablehnt und ein früher +gespeicherter Pfad als lokaler Dateipfad gelesen wird. Auch die Speicherseite protokolliert +eine Warnung und zeigt den Fehler mit dem Namen des zu installierenden Plugins an, wo sie +vorher nur eine leere Dateiliste anzeigte. Ohne Google Cloud Storage ist nichts zu tun. Amazon S3 und S3-kompatible Speicher wie MinIO -bleiben in der Distribution und sind nicht betroffen. +sind auf dieselbe Weise als Plugin ausgeliefert; siehe den nächsten Abschnitt. + +Amazon S3 wird als Plugin ausgeliefert +-------------------------------------- + +Das AWS-SDK ist nicht mehr Teil der Distribution; ``s3://``-Crawls und die Speichertypen +``s3`` und ``s3_compat`` kommen jetzt aus dem Plugin ``fess-storage-s3``. Installieren Sie es +über die Seite **System > Plugin** in der Administrationsoberfläche oder mit dem folgenden +Befehl. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` ist auch aus dem ausgelieferten ``crawler.file.protocols`` verschwunden, das nun +``file,smb,smb1,ftp`` lautet; das Plugin fügt es bei der Installation wieder hinzu. +``storage.type`` hat weiterhin den Standardwert ``auto``, der ohne gesetzten Endpunkt zu S3 +aufgelöst wird; die Speicherseite in der Administrationsoberfläche funktioniert daher erst +nach der Installation des Plugins, auch wenn Sie ``s3`` nie selbst angegeben haben. Ihre +``storage.*``-Werte bleiben erhalten, weil sie in ``WEB-INF/conf/system.properties`` liegen, +und ein vorhandenes ``crawler.file.protocols`` wird durch das Upgrade ebenfalls nicht ersetzt. + +Ohne Amazon S3 oder S3-kompatible Speicher wie MinIO ist nichts zu tun. Die eingebaute Skript-Engine wechselt von Groovy zu JavaScript -------------------------------------------------------------- @@ -571,8 +598,9 @@ Das Crawl-Protokoll ``storage`` wurde entfernt ---------------------------------------------- ``storage`` wird in ``crawler.file.protocols`` nicht mehr akzeptiert; der mitgelieferte Wert -lautet ``file,smb,smb1,ftp,s3``. Verwenden Sie stattdessen ``s3`` und stellen Sie jede +lautet ``file,smb,smb1,ftp``. Verwenden Sie stattdessen ``s3`` und stellen Sie jede Datei-Crawl-Konfiguration, deren Pfad mit ``storage:`` beginnt, auf einen ``s3:``-Pfad um. +``s3`` benötigt das Plugin ``fess-storage-s3``. Migrationsaufgaben speziell für 15.9 ==================================== diff --git a/en/15.9/admin/fileconfig-guide.rst b/en/15.9/admin/fileconfig-guide.rst index d24625801..1ae74a18c 100644 --- a/en/15.9/admin/fileconfig-guide.rst +++ b/en/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ Crawl targets are determined by the protocol specified in the path: - ``smb://`` … Windows file server / shared folder (SMB/CIFS) - ``smb1://`` … Windows file server / shared folder over the legacy SMB1 protocol - ``ftp://`` … FTP server -- ``s3://`` … Amazon S3 bucket +- ``s3://`` … Amazon S3 bucket (requires the ``fess-storage-s3`` plugin) - ``gcs://`` … Google Cloud Storage bucket (requires the ``fess-storage-gcs`` plugin) Configuration Management @@ -207,6 +207,11 @@ S3 access requires authentication credentials. Add the following to "Configurati client.secretKey=YOUR_SECRET_KEY client.region=ap-northeast-1 +.. note:: + Amazon S3 and S3-compatible storage support comes from the ``fess-storage-s3`` plugin, which + is not part of the distribution. Install it from the System > Plugin page in the + administration screen, or with ``bin/fess-setup install plugin fess-storage-s3``. + Crawling Google Cloud Storage Buckets ------------------------------------- diff --git a/en/15.9/admin/general-guide.rst b/en/15.9/admin/general-guide.rst index c5fdf2366..c2974b7ac 100644 --- a/en/15.9/admin/general-guide.rst +++ b/en/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Specifies the storage type. When "Auto" is selected, the storage type is automatically determined from the endpoint. - **Auto**: Auto-detect from endpoint -- **S3**: Amazon S3 +- **S3**: Amazon S3 (requires the ``fess-storage-s3`` plugin) - **GCS**: Google Cloud Storage (requires the ``fess-storage-gcs`` plugin) Bucket diff --git a/en/15.9/admin/storage-guide.rst b/en/15.9/admin/storage-guide.rst index 6ec57322e..86b04bc57 100644 --- a/en/15.9/admin/storage-guide.rst +++ b/en/15.9/admin/storage-guide.rst @@ -29,6 +29,12 @@ S3 Settings - Secret Key: AWS secret key - Region: AWS region +.. note:: + Amazon S3 and S3-compatible storage support comes from the ``fess-storage-s3`` plugin, which + is not part of the distribution. Install it from the System > Plugin page in the + administration screen, or with ``bin/fess-setup install plugin fess-storage-s3``. + The "Auto" type also resolves to S3 when the endpoint is blank. + GCS Settings ~~~~~~~~~~~~ diff --git a/en/15.9/config/crawler-advanced.rst b/en/15.9/config/crawler-advanced.rst index 2920ff0ad..7208635d0 100644 --- a/en/15.9/config/crawler-advanced.rst +++ b/en/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Supported Protocols - ``http,https`` * - ``crawler.file.protocols`` - File crawl protocols - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Crawling data encoding - ``UTF-8`` @@ -188,7 +188,7 @@ Configuration Example :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Environment Variable Parameters @@ -1003,6 +1003,11 @@ S3/GCS Crawler Configuration S3 Crawler ---------- +.. note:: + Amazon S3 and S3-compatible storage support comes from the ``fess-storage-s3`` plugin, which + is not part of the distribution. Install it from the System > Plugin page in the + administration screen, or with ``bin/fess-setup install plugin fess-storage-s3``. + Configuration for crawling S3 and S3-compatible storage (such as MinIO). Add the following to "Configuration Parameters" in the file crawl settings. diff --git a/en/15.9/config/properties.rst b/en/15.9/config/properties.rst index 9366de9b1..635c258e3 100644 --- a/en/15.9/config/properties.rst +++ b/en/15.9/config/properties.rst @@ -401,7 +401,7 @@ Index - http,http * - crawler.file.protocols - The protocols for file crawling. - - file,smb,smb1,ftp,s3 + - file,smb,smb1,ftp * - crawler.data.env.param.key.pattern - The regex pattern for Fess environment parameter keys. - ``^FESS_ENV_.*`` diff --git a/en/15.9/install/upgrade.rst b/en/15.9/install/upgrade.rst index f987f04e1..05f36ab57 100644 --- a/en/15.9/install/upgrade.rst +++ b/en/15.9/install/upgrade.rst @@ -465,7 +465,7 @@ For major version upgrades, it is recommended to recreate the index. Upgrading from 15.8 to 15.9 =========================== -If you are upgrading from 15.8, the following six changes are not backward compatible. +If you are upgrading from 15.8, the following seven changes are not backward compatible. Removal of the embedded OpenSearch ---------------------------------- @@ -524,12 +524,36 @@ System > Plugin page in the administration screen, or with the command below. $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` also left the shipped ``crawler.file.protocols``, which is now -``file,smb,smb1,ftp,s3``; the plugin adds it back when it is installed. Until then a file -crawl configuration whose path begins with ``gcs:`` is rejected as an invalid protocol, and -the storage page reports that no client is registered for ``storage.type=gcs``. +``file,smb,smb1,ftp``; the plugin adds it back when it is installed. Until then a file crawl +configuration whose path begins with ``gcs:`` is logged as a warning and crawls nothing. An +installation that upgrades keeps its own ``crawler.file.protocols``, so the path is still +accepted but no crawler client handles it; on a new installation ``gcs:`` is not a configured +protocol, so the administration screen refuses to save the path and a path saved earlier is +read as a local file path. The storage page logs a warning as well and shows the failure as an +error naming the plugin to install, where before it rendered an empty file list. Nothing is needed if you do not use Google Cloud Storage. Amazon S3 and S3-compatible -storage such as MinIO stay in the distribution and are unaffected. +storage such as MinIO moved to a plugin in the same way; see the next section. + +Amazon S3 Moved to a Plugin +--------------------------- + +The AWS SDK is no longer part of the distribution, so ``s3://`` crawling and the ``s3`` and +``s3_compat`` storage types now come from the ``fess-storage-s3`` plugin. Install it from the +System > Plugin page in the administration screen, or with the command below. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` also left the shipped ``crawler.file.protocols``, which is now ``file,smb,smb1,ftp``; +the plugin adds it back when it is installed. ``storage.type`` still defaults to ``auto``, +which resolves to S3 when no endpoint is set, so the storage page in the administration screen +does not work until the plugin is installed even if you never named ``s3`` yourself. Your +``storage.*`` values are kept, because they live in ``WEB-INF/conf/system.properties``, and an +existing ``crawler.file.protocols`` is not replaced by the upgrade either. + +Nothing is needed if you do not use Amazon S3 or S3-compatible storage such as MinIO. The Built-in Script Engine Changed from Groovy to JavaScript ------------------------------------------------------------ @@ -560,8 +584,8 @@ The ``storage`` Crawl Protocol Was Removed ------------------------------------------ ``storage`` is no longer accepted in ``crawler.file.protocols``; the shipped value is -``file,smb,smb1,ftp,s3``. Use ``s3`` instead, and change any file crawling configuration whose -path begins with ``storage:`` to an ``s3:`` path. +``file,smb,smb1,ftp``. Use ``s3`` instead, and change any file crawling configuration whose +path begins with ``storage:`` to an ``s3:`` path. ``s3`` needs the ``fess-storage-s3`` plugin. 15.9-Specific Migration Tasks ============================= diff --git a/es/15.9/admin/fileconfig-guide.rst b/es/15.9/admin/fileconfig-guide.rst index 010918a2f..23bdf34b8 100644 --- a/es/15.9/admin/fileconfig-guide.rst +++ b/es/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ El objetivo del rastreo se determina según el protocolo especificado en la «Ru - ``smb://`` … servidor de archivos o carpeta compartida de Windows (SMB/CIFS) - ``smb1://`` … servidor de archivos o carpeta compartida de Windows mediante el antiguo protocolo SMB1 - ``ftp://`` … servidor FTP -- ``s3://`` … bucket de Amazon S3 +- ``s3://`` … bucket de Amazon S3 (requiere el plugin ``fess-storage-s3``) - ``gcs://`` … bucket de Google Cloud Storage (requiere el plugin ``fess-storage-gcs``) Método de gestión @@ -208,6 +208,12 @@ El acceso a S3 requiere credenciales de autenticación. Agregue lo siguiente en client.secretKey=SU_CLAVE_SECRETA client.region=ap-northeast-1 +.. note:: + La compatibilidad con Amazon S3 y el almacenamiento compatible con S3 proviene del plugin + ``fess-storage-s3``, que no forma parte de la distribución. Instálelo desde la página + **Sistema > Plugin** de la pantalla de administración o con + ``bin/fess-setup install plugin fess-storage-s3``. + Rastrear buckets de Google Cloud Storage ----------------------------------------- diff --git a/es/15.9/admin/general-guide.rst b/es/15.9/admin/general-guide.rst index 5e8d3c006..59b014996 100644 --- a/es/15.9/admin/general-guide.rst +++ b/es/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Especifique el tipo de almacenamiento. Cuando se selecciona "Automático", el tipo de almacenamiento se determina automáticamente a partir del punto final. - **Automático**: Detección automática desde el punto final -- **S3**: Amazon S3 +- **S3**: Amazon S3 (requiere el plugin ``fess-storage-s3``) - **GCS**: Google Cloud Storage (requiere el plugin ``fess-storage-gcs``) Cubo diff --git a/es/15.9/admin/storage-guide.rst b/es/15.9/admin/storage-guide.rst index 458d4a016..347511e2c 100644 --- a/es/15.9/admin/storage-guide.rst +++ b/es/15.9/admin/storage-guide.rst @@ -29,6 +29,13 @@ Configuración de S3 - Clave secreta: Clave secreta de AWS - Región: Región de AWS +.. note:: + La compatibilidad con Amazon S3 y el almacenamiento compatible con S3 proviene del plugin + ``fess-storage-s3``, que no forma parte de la distribución. Instálelo desde la página + **Sistema > Plugin** de la pantalla de administración o con + ``bin/fess-setup install plugin fess-storage-s3``. + El tipo "Automático" también se resuelve como S3 cuando el punto final está vacío. + Configuración de GCS ~~~~~~~~~~~~~~~~~~~~ diff --git a/es/15.9/config/crawler-advanced.rst b/es/15.9/config/crawler-advanced.rst index 03ab7ec66..7f6bb1c77 100644 --- a/es/15.9/config/crawler-advanced.rst +++ b/es/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Protocolos Compatibles - ``http,https`` * - ``crawler.file.protocols`` - Protocolos para rastreo de archivos - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Codificación de datos de rastreo - ``UTF-8`` @@ -188,7 +188,7 @@ Ejemplo de Configuración :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Parámetros de Variables de Entorno @@ -1003,6 +1003,12 @@ Configuración del Rastreador S3/GCS Rastreador S3 ------------- +.. note:: + La compatibilidad con Amazon S3 y el almacenamiento compatible con S3 proviene del plugin + ``fess-storage-s3``, que no forma parte de la distribución. Instálelo desde la página + **Sistema > Plugin** de la pantalla de administración o con + ``bin/fess-setup install plugin fess-storage-s3``. + Configuración para rastrear Amazon S3 y almacenamiento compatible con S3 (MinIO, etc.). Escriba lo siguiente en "Parámetros de configuración" de la configuración de rastreo de archivos. diff --git a/es/15.9/install/upgrade.rst b/es/15.9/install/upgrade.rst index 55356d3ad..45f496c88 100644 --- a/es/15.9/install/upgrade.rst +++ b/es/15.9/install/upgrade.rst @@ -470,7 +470,7 @@ Para actualizaciones de versión principal, se recomienda recrear el índice. Actualización de 15.8 a 15.9 ============================ -Si actualiza desde 15.8, los seis cambios siguientes no son retrocompatibles. +Si actualiza desde 15.8, los siete cambios siguientes no son retrocompatibles. Eliminación del OpenSearch integrado ------------------------------------ @@ -533,13 +533,41 @@ orden siguiente. $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` también ha salido del valor distribuido de ``crawler.file.protocols``, que ahora es -``file,smb,smb1,ftp,s3``; el plugin lo vuelve a añadir al instalarse. Hasta entonces, una -configuración de rastreo de archivos cuya ruta empieza por ``gcs:`` se rechaza como protocolo -no válido, y la página de almacenamiento informa de que no hay ningún cliente registrado para -``storage.type=gcs``. +``file,smb,smb1,ftp``; el plugin lo vuelve a añadir al instalarse. Hasta entonces, una +configuración de rastreo de archivos cuya ruta empieza por ``gcs:`` se registra como +advertencia y no recupera nada. Una instalación que se actualiza conserva su propio +``crawler.file.protocols``, por lo que la ruta se sigue aceptando pero ningún cliente de +rastreo la atiende; en una instalación nueva ``gcs:`` no es un protocolo configurado, así que +la pantalla de administración rechaza guardar la ruta y una ruta guardada antes se lee como +ruta de archivo local. La página de almacenamiento también registra una advertencia y muestra +el fallo como un error con el nombre del plugin que hay que instalar, donde antes solo +mostraba una lista de archivos vacía. Si no utiliza Google Cloud Storage, no hay nada que hacer. Amazon S3 y el almacenamiento -compatible con S3, como MinIO, siguen en la distribución y no se ven afectados. +compatible con S3, como MinIO, han pasado a un plugin de la misma manera; consulte la sección +siguiente. + +Amazon S3 pasa a un plugin +-------------------------- + +El SDK de AWS ya no forma parte de la distribución, por lo que el rastreo de ``s3://`` y los +tipos de almacenamiento ``s3`` y ``s3_compat`` provienen ahora del plugin +``fess-storage-s3``. Instálelo desde la página **Sistema > Plugin** de la pantalla de +administración o con la orden siguiente. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` también ha salido del valor distribuido de ``crawler.file.protocols``, que ahora es +``file,smb,smb1,ftp``; el plugin lo vuelve a añadir al instalarse. ``storage.type`` sigue +teniendo el valor predeterminado ``auto``, que se resuelve como S3 cuando no hay ningún punto +final configurado, así que la página de almacenamiento de la pantalla de administración no +funciona hasta que se instala el plugin, aunque nunca haya indicado ``s3`` explícitamente. Sus +valores ``storage.*`` se conservan, porque están en ``WEB-INF/conf/system.properties``, y un +``crawler.file.protocols`` existente tampoco se sustituye en la actualización. + +Si no utiliza Amazon S3 ni almacenamiento compatible con S3 como MinIO, no hay nada que hacer. El motor de scripting integrado pasa de Groovy a JavaScript ----------------------------------------------------------- @@ -571,8 +599,9 @@ El protocolo de rastreo ``storage`` se ha eliminado --------------------------------------------------- ``storage`` ya no se admite en ``crawler.file.protocols``; el valor incluido es -``file,smb,smb1,ftp,s3``. Utilice ``s3`` en su lugar y cambie a una ruta ``s3:`` cualquier -configuración de rastreo de archivos cuya ruta empiece por ``storage:``. +``file,smb,smb1,ftp``. Utilice ``s3`` en su lugar y cambie a una ruta ``s3:`` cualquier +configuración de rastreo de archivos cuya ruta empiece por ``storage:``. ``s3`` necesita el +plugin ``fess-storage-s3``. Migración Específica de 15.9 ============================== diff --git a/fr/15.9/admin/fileconfig-guide.rst b/fr/15.9/admin/fileconfig-guide.rst index b5110876c..889db516c 100644 --- a/fr/15.9/admin/fileconfig-guide.rst +++ b/fr/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ Le crawl cible est déterminé par le protocole spécifié dans le « chemin » - ``smb://`` … serveur de fichiers/dossier partagé Windows (SMB/CIFS) - ``smb1://`` … serveur de fichiers/dossier partagé Windows utilisant l'ancien protocole SMB1 - ``ftp://`` … serveur FTP -- ``s3://`` … bucket Amazon S3 +- ``s3://`` … bucket Amazon S3 (nécessite le plugin ``fess-storage-s3``) - ``gcs://`` … bucket Google Cloud Storage (nécessite le plugin ``fess-storage-gcs``) Gestion @@ -208,6 +208,12 @@ L'accès à S3 nécessite des identifiants d'authentification. Ajoutez ce qui su client.secretKey=VOTRE_CLE_SECRETE client.region=ap-northeast-1 +.. note:: + La prise en charge d'Amazon S3 et des stockages compatibles S3 provient du plugin + ``fess-storage-s3``, qui ne fait pas partie de la distribution. Installez-le depuis la page + **Système > Plugin** de l'écran d'administration ou avec + ``bin/fess-setup install plugin fess-storage-s3``. + Crawler les buckets Google Cloud Storage ----------------------------------------- diff --git a/fr/15.9/admin/general-guide.rst b/fr/15.9/admin/general-guide.rst index 531708845..e01cffada 100644 --- a/fr/15.9/admin/general-guide.rst +++ b/fr/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Spécifie le type de stockage. Lorsque « Automatique » est sélectionné, le type de stockage est automatiquement déterminé à partir du point de terminaison. - **Automatique** : Détection automatique à partir du point de terminaison -- **S3** : Amazon S3 +- **S3** : Amazon S3 (nécessite le plugin ``fess-storage-s3``) - **GCS** : Google Cloud Storage (nécessite le plugin ``fess-storage-gcs``) Compartiment diff --git a/fr/15.9/admin/storage-guide.rst b/fr/15.9/admin/storage-guide.rst index 7fcabbfc3..c04726249 100644 --- a/fr/15.9/admin/storage-guide.rst +++ b/fr/15.9/admin/storage-guide.rst @@ -29,6 +29,13 @@ Paramètres S3 - Clé secrète : Clé secrète AWS - Région : Région AWS +.. note:: + La prise en charge d'Amazon S3 et des stockages compatibles S3 provient du plugin + ``fess-storage-s3``, qui ne fait pas partie de la distribution. Installez-le depuis la page + **Système > Plugin** de l'écran d'administration ou avec + ``bin/fess-setup install plugin fess-storage-s3``. + Le type « Automatique » se résout aussi en S3 lorsque le point de terminaison est vide. + Paramètres GCS ~~~~~~~~~~~~~~ diff --git a/fr/15.9/config/crawler-advanced.rst b/fr/15.9/config/crawler-advanced.rst index 3d2b7efc7..83e15cb0e 100644 --- a/fr/15.9/config/crawler-advanced.rst +++ b/fr/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Protocoles supportés - ``http,https`` * - ``crawler.file.protocols`` - Protocoles d'indexation de fichiers - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Encodage des données de crawl - ``UTF-8`` @@ -188,7 +188,7 @@ Exemple de configuration :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Paramètres de variables d'environnement @@ -1003,6 +1003,12 @@ Configuration du crawler S3/GCS Crawler S3 ---------- +.. note:: + La prise en charge d'Amazon S3 et des stockages compatibles S3 provient du plugin + ``fess-storage-s3``, qui ne fait pas partie de la distribution. Installez-le depuis la page + **Système > Plugin** de l'écran d'administration ou avec + ``bin/fess-setup install plugin fess-storage-s3``. + Configuration pour crawler S3 et le stockage compatible S3 (comme MinIO). Ajoutez ce qui suit aux « Paramètres de configuration » dans les paramètres de crawl de fichiers. diff --git a/fr/15.9/install/upgrade.rst b/fr/15.9/install/upgrade.rst index a20600a51..a78aefd80 100644 --- a/fr/15.9/install/upgrade.rst +++ b/fr/15.9/install/upgrade.rst @@ -473,7 +473,7 @@ En cas de mise à niveau majeure, il est recommandé de recréer l'index. Mise à niveau de 15.8 vers 15.9 =============================== -Si vous effectuez une mise à niveau depuis la 15.8, les six changements suivants ne sont pas +Si vous effectuez une mise à niveau depuis la 15.8, les sept changements suivants ne sont pas rétrocompatibles. Suppression de l'OpenSearch intégré @@ -537,13 +537,41 @@ commande ci-dessous. $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` a également quitté la valeur fournie de ``crawler.file.protocols``, qui est -maintenant ``file,smb,smb1,ftp,s3`` ; le plugin la rétablit lors de son installation. +maintenant ``file,smb,smb1,ftp`` ; le plugin la rétablit lors de son installation. Jusque-là, une configuration d'exploration de fichiers dont le chemin commence par ``gcs:`` -est rejetée comme protocole invalide, et la page de stockage signale qu'aucun client n'est -enregistré pour ``storage.type=gcs``. +est signalée par un avertissement et ne récupère rien. Une installation mise à niveau conserve +son propre ``crawler.file.protocols``, le chemin est donc toujours accepté mais aucun client +d'exploration ne le prend en charge ; dans une nouvelle installation, ``gcs:`` n'est pas un +protocole configuré, l'écran d'administration refuse donc d'enregistrer le chemin et un chemin +enregistré auparavant est lu comme un chemin de fichier local. La page de stockage journalise +elle aussi un avertissement et affiche l'échec comme une erreur nommant le plugin à installer, +là où elle n'affichait auparavant qu'une liste de fichiers vide. Rien à faire si vous n'utilisez pas Google Cloud Storage. Amazon S3 et les stockages -compatibles S3 tels que MinIO restent dans la distribution et ne sont pas concernés. +compatibles S3 tels que MinIO sont passés dans un plugin de la même manière ; voir la section +suivante. + +Amazon S3 passe dans un plugin +------------------------------ + +Le SDK AWS ne fait plus partie de la distribution : l'exploration ``s3://`` et les types de +stockage ``s3`` et ``s3_compat`` proviennent désormais du plugin ``fess-storage-s3``. +Installez-le depuis la page **Système > Plugin** de l'écran d'administration ou avec la +commande ci-dessous. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` a également quitté la valeur fournie de ``crawler.file.protocols``, qui est maintenant +``file,smb,smb1,ftp`` ; le plugin la rétablit lors de son installation. ``storage.type`` vaut +toujours ``auto`` par défaut, ce qui se résout en S3 lorsque aucun point de terminaison n'est +défini : la page de stockage de l'écran d'administration ne fonctionne donc qu'après +l'installation du plugin, même si vous n'avez jamais indiqué ``s3`` vous-même. Vos valeurs +``storage.*`` sont conservées, car elles se trouvent dans ``WEB-INF/conf/system.properties``, +et un ``crawler.file.protocols`` existant n'est pas non plus remplacé par la mise à niveau. + +Rien à faire si vous n'utilisez pas Amazon S3 ni un stockage compatible S3 tel que MinIO. Le moteur de script intégré passe de Groovy à JavaScript -------------------------------------------------------- @@ -575,8 +603,9 @@ Le protocole de crawl ``storage`` a été supprimé ------------------------------------------------ ``storage`` n'est plus accepté dans ``crawler.file.protocols`` ; la valeur fournie est -``file,smb,smb1,ftp,s3``. Utilisez ``s3`` à la place et remplacez par un chemin ``s3:`` toute -configuration de crawl de fichiers dont le chemin commence par ``storage:``. +``file,smb,smb1,ftp``. Utilisez ``s3`` à la place et remplacez par un chemin ``s3:`` toute +configuration de crawl de fichiers dont le chemin commence par ``storage:``. ``s3`` nécessite +le plugin ``fess-storage-s3``. Migrations spécifiques à la 15.9 ================================ diff --git a/ja/15.9/admin/fileconfig-guide.rst b/ja/15.9/admin/fileconfig-guide.rst index 5e541eb35..0f5f33580 100644 --- a/ja/15.9/admin/fileconfig-guide.rst +++ b/ja/15.9/admin/fileconfig-guide.rst @@ -13,7 +13,7 @@ - ``smb://`` … Windows ファイルサーバー／共有フォルダー（SMB/CIFS） - ``smb1://`` … 旧来の SMB1 プロトコルを使用する Windows ファイルサーバー／共有フォルダー - ``ftp://`` … FTP サーバー -- ``s3://`` … Amazon S3 バケット +- ``s3://`` … Amazon S3 バケット（ ``fess-storage-s3`` プラグインが必要） - ``gcs://`` … Google Cloud Storage バケット（ ``fess-storage-gcs`` プラグインが必要） 管理方法 @@ -206,6 +206,11 @@ S3へのアクセスには認証情報が必要です。「設定パラメータ client.secretKey=YOUR_SECRET_KEY client.region=ap-northeast-1 +.. note:: + Amazon S3 と S3 互換ストレージへの対応は ``fess-storage-s3`` プラグインから提供されます。 + 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-storage-s3`` で導入してください。 + Google Cloud Storageバケットをクロール ----------------------------------- diff --git a/ja/15.9/admin/general-guide.rst b/ja/15.9/admin/general-guide.rst index 7698f7cde..650b2708f 100644 --- a/ja/15.9/admin/general-guide.rst +++ b/ja/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ ERROR や WARN レベルのログイベントを自動的に捕捉して通知 「自動」を選択すると、エンドポイントから自動的にストレージタイプを判定します。 - **自動**: エンドポイントから自動判定 -- **S3**: Amazon S3 +- **S3**: Amazon S3（ ``fess-storage-s3`` プラグインが必要） - **GCS**: Google Cloud Storage（ ``fess-storage-gcs`` プラグインが必要） バケット diff --git a/ja/15.9/admin/storage-guide.rst b/ja/15.9/admin/storage-guide.rst index 43a72c510..868cd3e88 100644 --- a/ja/15.9/admin/storage-guide.rst +++ b/ja/15.9/admin/storage-guide.rst @@ -29,6 +29,12 @@ S3の設定 - シークレットキー: AWSシークレットキー - リージョン: AWSリージョン +.. note:: + Amazon S3 と S3 互換ストレージへの対応は ``fess-storage-s3`` プラグインから提供されます。 + 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-storage-s3`` で導入してください。 + タイプ「自動」も、エンドポイントが空欄の場合は S3 として扱われます。 + GCSの設定 ~~~~~~~ diff --git a/ja/15.9/config/crawler-advanced.rst b/ja/15.9/config/crawler-advanced.rst index 2eba3ef2f..3d9772dc8 100644 --- a/ja/15.9/config/crawler-advanced.rst +++ b/ja/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTPクローラーのスレッドプール設定です。 - ``http,https`` * - ``crawler.file.protocols`` - ファイルクロールのプロトコル - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - クロールデータのエンコーディング - ``UTF-8`` @@ -188,7 +188,7 @@ HTTPクローラーのスレッドプール設定です。 :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 環境変数パラメーター @@ -1006,6 +1006,11 @@ S3/GCSクローラー設定 S3クローラー ------------ +.. note:: + Amazon S3 と S3 互換ストレージへの対応は ``fess-storage-s3`` プラグインから提供されます。 + 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-storage-s3`` で導入してください。 + S3およびS3互換ストレージ（MinIO等）をクロールするための設定です。 ファイルクロール設定の「設定パラメーター」に以下を記述します。 diff --git a/ja/15.9/install/upgrade.rst b/ja/15.9/install/upgrade.rst index 065e726b0..569356a69 100644 --- a/ja/15.9/install/upgrade.rst +++ b/ja/15.9/install/upgrade.rst @@ -461,7 +461,7 @@ Docker 版:: 15.8 から 15.9 へのアップグレード ================================= -15.8 からアップグレードする場合、以下の 6 点が互換性のない変更です。 +15.8 からアップグレードする場合、以下の 7 点が互換性のない変更です。 組み込み OpenSearch の廃止 -------------------------- @@ -520,13 +520,37 @@ Google Cloud Storage の SDK は配布物に含まれなくなり、 ``gcs://`` $ bin/fess-setup install plugin fess-storage-gcs -``crawler.file.protocols`` の既定値からも ``gcs`` が外れ、 ``file,smb,smb1,ftp,s3`` に +``crawler.file.protocols`` の既定値からも ``gcs`` が外れ、 ``file,smb,smb1,ftp`` に なりました。プラグインを導入すると再び追加されます。導入前は、パスが ``gcs:`` で始まる -ファイルクロール設定は不正なプロトコルとして拒否され、ストレージ画面は -``storage.type=gcs`` に対応するクライアントが登録されていないと報告します。 +ファイルクロール設定について警告がログに記録されるだけで、何も取得できません。 +アップグレードした既存インストールでは ``crawler.file.protocols`` がそのまま残るため、 +パスは受け付けられますが、対応するクローラクライアントがありません。新規インストールでは +``gcs:`` が設定済みのプロトコルではないため、管理画面はそのパスの保存を拒否し、以前に +保存されたパスはローカルファイルパスとして扱われます。ストレージ画面も警告をログに記録し、 +導入すべきプラグイン名を含むエラーを表示します。以前は空のファイル一覧を表示するだけでした。 Google Cloud Storage を使用していない場合、対応は不要です。Amazon S3 と MinIO などの -S3 互換ストレージは配布物に残っており、影響はありません。 +S3 互換ストレージも同じようにプラグインへ移動しました。次の節を参照してください。 + +Amazon S3 をプラグインへ移動 +---------------------------- + +AWS SDK は配布物に含まれなくなり、 ``s3://`` のクロールと ``s3`` および ``s3_compat`` の +ストレージタイプは ``fess-storage-s3`` プラグインから提供されます。管理画面の +「システム > プラグイン」ページ、または次のコマンドで導入してください。 + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``crawler.file.protocols`` の既定値からも ``s3`` が外れ、 ``file,smb,smb1,ftp`` に +なりました。プラグインを導入すると再び追加されます。 ``storage.type`` の既定値は ``auto`` +のままで、エンドポイントが未設定なら S3 に解決されるため、 ``s3`` を明示していなくても +プラグインを導入するまで管理画面のストレージは機能しません。 ``storage.*`` の設定値は +``WEB-INF/conf/system.properties`` にあるため残り、既存の ``crawler.file.protocols`` も +アップグレードで置き換わりません。 + +Amazon S3 と MinIO などの S3 互換ストレージを使用していない場合、対応は不要です。 標準のスクリプトエンジンが Groovy から JavaScript に変更 -------------------------------------------------------- @@ -558,8 +582,9 @@ JavaScript エンジン向けに書き換えてください。JavaScript では ------------------------------------- ``crawler.file.protocols`` で ``storage`` は指定できなくなりました。同梱の値は -``file,smb,smb1,ftp,s3`` です。代わりに ``s3`` を使用し、 ``storage:`` で始まるパスを -指定しているファイルクロール設定は ``s3:`` のパスへ変更してください。 +``file,smb,smb1,ftp`` です。代わりに ``s3`` を使用し、 ``storage:`` で始まるパスを +指定しているファイルクロール設定は ``s3:`` のパスへ変更してください。 ``s3`` には +``fess-storage-s3`` プラグインが必要です。 15.9 固有の移行作業 =================== diff --git a/ko/15.9/admin/fileconfig-guide.rst b/ko/15.9/admin/fileconfig-guide.rst index 629fd4bb2..118543b8e 100644 --- a/ko/15.9/admin/fileconfig-guide.rst +++ b/ko/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ - ``smb://`` … Windows 파일 서버/공유 폴더(SMB/CIFS) - ``smb1://`` … 예전 SMB1 프로토콜을 사용하는 Windows 파일 서버/공유 폴더 - ``ftp://`` … FTP 서버 -- ``s3://`` … Amazon S3 버킷 +- ``s3://`` … Amazon S3 버킷（ ``fess-storage-s3`` 플러그인 필요） - ``gcs://`` … Google Cloud Storage 버킷（ ``fess-storage-gcs`` 플러그인 필요） 관리 방법 diff --git a/ko/15.9/admin/general-guide.rst b/ko/15.9/admin/general-guide.rst index 858cc4acd..de9b0d015 100644 --- a/ko/15.9/admin/general-guide.rst +++ b/ko/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ ERROR 및 WARN 레벨의 로그 이벤트를 자동으로 캡처하여 알림을 「자동」을 선택하면 엔드포인트에서 자동으로 스토리지 유형을 판정합니다. - **자동**: 엔드포인트에서 자동 판정 -- **S3**: Amazon S3 +- **S3**: Amazon S3（ ``fess-storage-s3`` 플러그인 필요） - **GCS**: Google Cloud Storage（ ``fess-storage-gcs`` 플러그인 필요） 버킷 diff --git a/ko/15.9/admin/storage-guide.rst b/ko/15.9/admin/storage-guide.rst index 00ab3ad3d..f5733e008 100644 --- a/ko/15.9/admin/storage-guide.rst +++ b/ko/15.9/admin/storage-guide.rst @@ -20,6 +20,11 @@ - 비밀 키: 스토리지 서버의 비밀 키 - 버킷: 관리할 버킷 이름 +.. note:: + Amazon S3 및 S3 호환 스토리지 지원은 ``fess-storage-s3`` 플러그인에서 제공됩니다. 배포물에 + 포함되어 있지 않으므로 관리 화면의 「시스템 > 플러그인」 페이지 또는 + ``bin/fess-setup install plugin fess-storage-s3`` 로 설치하십시오. + 표시 방법 ------ diff --git a/ko/15.9/config/crawler-advanced.rst b/ko/15.9/config/crawler-advanced.rst index c2fada100..2d9574dd6 100644 --- a/ko/15.9/config/crawler-advanced.rst +++ b/ko/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTP 크롤러의 스레드 풀 설정입니다. - ``http,https`` * - ``crawler.file.protocols`` - 파일 크롤링 프로토콜 - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - 크롤링 데이터 인코딩 - ``UTF-8`` @@ -188,7 +188,7 @@ HTTP 크롤러의 스레드 풀 설정입니다. :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 환경 변수 파라미터 @@ -1004,6 +1004,11 @@ S3/GCS 크롤러 설정 S3 크롤러 ------------ +.. note:: + Amazon S3 및 S3 호환 스토리지 지원은 ``fess-storage-s3`` 플러그인에서 제공됩니다. 배포물에 + 포함되어 있지 않으므로 관리 화면의 「시스템 > 플러그인」 페이지 또는 + ``bin/fess-setup install plugin fess-storage-s3`` 로 설치하십시오. + S3 및 S3 호환 스토리지(MinIO 등)를 크롤링하기 위한 설정입니다. 파일 크롤 설정의 "설정 파라미터"에 다음을 기술합니다. diff --git a/ko/15.9/install/upgrade.rst b/ko/15.9/install/upgrade.rst index c1de423e4..f1c9f2a80 100644 --- a/ko/15.9/install/upgrade.rst +++ b/ko/15.9/install/upgrade.rst @@ -461,7 +461,7 @@ Docker 버전:: 15.8에서 15.9로 업그레이드 ========================== -15.8에서 업그레이드하는 경우 다음 여섯 가지가 하위 호환되지 않는 변경입니다. +15.8에서 업그레이드하는 경우 다음 일곱 가지가 하위 호환되지 않는 변경입니다. 내장 OpenSearch 폐지 -------------------- @@ -519,13 +519,37 @@ Google Cloud Storage 의 SDK 는 더 이상 배포물에 포함되지 않으며, $ bin/fess-setup install plugin fess-storage-gcs -``crawler.file.protocols`` 의 기본값에서도 ``gcs`` 가 빠져 ``file,smb,smb1,ftp,s3`` 가 +``crawler.file.protocols`` 의 기본값에서도 ``gcs`` 가 빠져 ``file,smb,smb1,ftp`` 가 되었습니다. 플러그인을 설치하면 다시 추가됩니다. 설치 전에는 경로가 ``gcs:`` 로 시작하는 -파일 크롤링 설정이 잘못된 프로토콜로 거부되고, 스토리지 화면은 ``storage.type=gcs`` 에 -등록된 클라이언트가 없다고 보고합니다. +파일 크롤링 설정에 대해 경고가 기록될 뿐이며 아무것도 가져오지 않습니다. 업그레이드한 +기존 설치는 자체 ``crawler.file.protocols`` 를 그대로 유지하므로 경로는 계속 허용되지만 +처리할 크롤러 클라이언트가 없고, 새로 설치한 경우에는 ``gcs:`` 가 설정된 프로토콜이 +아니므로 관리 화면이 경로 저장을 거부하고 이전에 저장된 경로는 로컬 파일 경로로 +처리됩니다. 스토리지 화면도 경고를 기록하고 설치해야 하는 플러그인 이름이 포함된 오류를 +표시합니다. 이전에는 빈 파일 목록만 표시했습니다. Google Cloud Storage 를 사용하지 않는 경우에는 대응이 필요 없습니다. Amazon S3 와 MinIO -등 S3 호환 스토리지는 배포물에 그대로 남아 있어 영향이 없습니다. +등 S3 호환 스토리지도 같은 방식으로 플러그인으로 이동했습니다. 다음 절을 참조하십시오. + +Amazon S3 를 플러그인으로 이동 +------------------------------ + +AWS SDK 는 더 이상 배포물에 포함되지 않으며, ``s3://`` 크롤링과 ``s3`` 및 ``s3_compat`` +스토리지 타입은 ``fess-storage-s3`` 플러그인에서 제공됩니다. 관리 화면의 +「시스템 > 플러그인」 페이지 또는 아래 명령으로 설치하십시오. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``crawler.file.protocols`` 의 기본값에서도 ``s3`` 가 빠져 ``file,smb,smb1,ftp`` 가 +되었습니다. 플러그인을 설치하면 다시 추가됩니다. ``storage.type`` 의 기본값은 여전히 +``auto`` 이며 엔드포인트가 설정되지 않으면 S3 로 해석되므로, ``s3`` 를 직접 지정하지 +않았더라도 플러그인을 설치할 때까지 관리 화면의 스토리지는 동작하지 않습니다. +``storage.*`` 설정값은 ``WEB-INF/conf/system.properties`` 에 있으므로 그대로 남고, 기존 +``crawler.file.protocols`` 도 업그레이드로 교체되지 않습니다. + +Amazon S3 와 MinIO 등 S3 호환 스토리지를 사용하지 않는 경우에는 대응이 필요 없습니다. 내장 스크립트 엔진이 Groovy에서 JavaScript로 변경 ------------------------------------------------- @@ -556,8 +580,9 @@ JavaScript의 배열 리터럴은 Java의 ``String[]`` 로 자동 변환되므 ------------------------------ ``crawler.file.protocols`` 에서 ``storage`` 는 더 이상 사용할 수 없으며, 기본 제공 값은 -``file,smb,smb1,ftp,s3`` 입니다. 대신 ``s3`` 를 사용하고, 경로가 ``storage:`` 로 시작하는 -파일 크롤 설정은 ``s3:`` 경로로 변경하십시오. +``file,smb,smb1,ftp`` 입니다. 대신 ``s3`` 를 사용하고, 경로가 ``storage:`` 로 시작하는 +파일 크롤 설정은 ``s3:`` 경로로 변경하십시오. ``s3`` 에는 ``fess-storage-s3`` 플러그인이 +필요합니다. 15.9 전용 마이그레이션 작업 =========================== diff --git a/zh-cn/15.9/admin/fileconfig-guide.rst b/zh-cn/15.9/admin/fileconfig-guide.rst index 586876f34..89976dab2 100644 --- a/zh-cn/15.9/admin/fileconfig-guide.rst +++ b/zh-cn/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ - ``smb://`` … Windows 文件服务器/共享文件夹（SMB/CIFS） - ``smb1://`` … 使用旧版 SMB1 协议的 Windows 文件服务器/共享文件夹 - ``ftp://`` … FTP 服务器 -- ``s3://`` … Amazon S3 存储桶 +- ``s3://`` … Amazon S3 存储桶（需要 ``fess-storage-s3`` 插件） - ``gcs://`` … Google Cloud Storage 存储桶（需要 ``fess-storage-gcs`` 插件） 管理方式 @@ -208,6 +208,10 @@ client.secretKey=您的私密密钥 client.region=ap-northeast-1 +.. note:: + Amazon S3 与 S3 兼容存储的支持由 ``fess-storage-s3`` 插件提供，该插件不随发行包分发。请从 + 管理界面的「系统 > 插件」页面安装，或执行 ``bin/fess-setup install plugin fess-storage-s3`` 。 + 抓取 Google Cloud Storage 存储桶 --------------------------------- diff --git a/zh-cn/15.9/admin/general-guide.rst b/zh-cn/15.9/admin/general-guide.rst index 67d42ce29..041d522a5 100644 --- a/zh-cn/15.9/admin/general-guide.rst +++ b/zh-cn/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Google Chat Webhook URLs 选择"自动"时,将根据端点自动判断存储类型。 - **自动**: 根据端点自动判断 -- **S3**: Amazon S3 +- **S3**: Amazon S3（需要 ``fess-storage-s3`` 插件） - **GCS**: Google Cloud Storage（需要 ``fess-storage-gcs`` 插件） 存储桶 diff --git a/zh-cn/15.9/admin/storage-guide.rst b/zh-cn/15.9/admin/storage-guide.rst index 63d76bece..ce7c937f7 100644 --- a/zh-cn/15.9/admin/storage-guide.rst +++ b/zh-cn/15.9/admin/storage-guide.rst @@ -29,6 +29,11 @@ S3 设置 - 密钥: AWS 密钥 - 区域: AWS 区域 +.. note:: + Amazon S3 与 S3 兼容存储的支持由 ``fess-storage-s3`` 插件提供，该插件不随发行包分发。请从 + 管理界面的「系统 > 插件」页面安装，或执行 ``bin/fess-setup install plugin fess-storage-s3`` 。 + 端点为空时，类型"自动"也会解析为 S3 。 + GCS 设置 ~~~~~~~~ diff --git a/zh-cn/15.9/config/crawler-advanced.rst b/zh-cn/15.9/config/crawler-advanced.rst index 76676b031..97d619400 100644 --- a/zh-cn/15.9/config/crawler-advanced.rst +++ b/zh-cn/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTP 爬虫的线程池配置。 - ``http,https`` * - ``crawler.file.protocols`` - 文件爬取协议 - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - 爬取数据编码 - ``UTF-8`` @@ -188,7 +188,7 @@ HTTP 爬虫的线程池配置。 :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 环境变量参数 @@ -1002,6 +1002,10 @@ S3/GCS 爬虫配置 S3 爬虫 ------- +.. note:: + Amazon S3 与 S3 兼容存储的支持由 ``fess-storage-s3`` 插件提供，该插件不随发行包分发。请从 + 管理界面的「系统 > 插件」页面安装，或执行 ``bin/fess-setup install plugin fess-storage-s3`` 。 + 用于爬取 Amazon S3 和 S3 兼容存储（MinIO 等）的配置。 .. list-table:: diff --git a/zh-cn/15.9/install/upgrade.rst b/zh-cn/15.9/install/upgrade.rst index f37c87088..ed0d9b6f2 100644 --- a/zh-cn/15.9/install/upgrade.rst +++ b/zh-cn/15.9/install/upgrade.rst @@ -457,7 +457,7 @@ Docker 版:: 从 15.8 升级到 15.9 =================== -若从 15.8 升级，以下六项为不向后兼容的变更。 +若从 15.8 升级，以下七项为不向后兼容的变更。 内嵌 OpenSearch 的移除 ---------------------- @@ -513,11 +513,33 @@ Google Cloud Storage 的 SDK 不再包含在发行包中， ``gcs://`` 爬取与 $ bin/fess-setup install plugin fess-storage-gcs ``crawler.file.protocols`` 的随附取值中也去掉了 ``gcs``\ ，现为 -``file,smb,smb1,ftp,s3``\ 。安装插件后会重新加入。在此之前，路径以 ``gcs:`` 开头的文件 -爬取配置会因协议无效而被拒绝，存储页面则会报告没有为 ``storage.type=gcs`` 注册客户端。 +``file,smb,smb1,ftp``\ 。安装插件后会重新加入。在此之前，路径以 ``gcs:`` 开头的文件 +爬取配置只会记录一条警告，且什么都取不到。升级后的现有安装会保留自己的 +``crawler.file.protocols``\ ，因此路径仍被接受，但没有可处理它的爬虫客户端；新安装中 +``gcs:`` 不是已配置的协议，管理界面会拒绝保存该路径，而先前保存的路径会被当作本地文件 +路径处理。存储页面同样会记录警告，并把失败作为错误显示出来，文字中包含需要安装的插件 +名称；此前它只显示一个空的文件列表。 -如果不使用 Google Cloud Storage，则无需处理。Amazon S3 以及 MinIO 等兼容 S3 的存储仍在 -发行包中，不受影响。 +如果不使用 Google Cloud Storage，则无需处理。Amazon S3 以及 MinIO 等兼容 S3 的存储也以 +同样的方式移至插件，请参阅下一节。 + +Amazon S3 移至插件 +------------------ + +AWS SDK 不再包含在发行包中， ``s3://`` 爬取与 ``s3``\ 、 ``s3_compat`` 存储类型改由 +``fess-storage-s3`` 插件提供。请从管理界面的「系统 > 插件」页面安装，或执行以下命令。 + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``crawler.file.protocols`` 的随附取值中也去掉了 ``s3``\ ，现为 ``file,smb,smb1,ftp``\ 。 +安装插件后会重新加入。 ``storage.type`` 的默认值仍为 ``auto``\ ，未设置端点时会解析为 +S3，因此即使从未显式指定 ``s3``\ ，在安装插件之前管理界面的存储功能也无法使用。 +``storage.*`` 的取值位于 ``WEB-INF/conf/system.properties``\ ，因此会保留下来，现有的 +``crawler.file.protocols`` 也不会被升级覆盖。 + +如果不使用 Amazon S3 或 MinIO 等兼容 S3 的存储，则无需处理。 内置脚本引擎由 Groovy 改为 JavaScript ------------------------------------- @@ -544,8 +566,9 @@ Google Cloud Storage 的 SDK 不再包含在发行包中， ``gcs://`` 爬取与 爬取协议 ``storage`` 已删除 --------------------------- -``crawler.file.protocols`` 中不再接受 ``storage`` ，随附的值为 ``file,smb,smb1,ftp,s3`` 。 -请改用 ``s3`` ，并将路径以 ``storage:`` 开头的文件爬取配置改为 ``s3:`` 路径。 +``crawler.file.protocols`` 中不再接受 ``storage`` ，随附的值为 ``file,smb,smb1,ftp`` 。 +请改用 ``s3`` ，并将路径以 ``storage:`` 开头的文件爬取配置改为 ``s3:`` 路径。 ``s3`` 需要 +``fess-storage-s3`` 插件。 15.9 特有的迁移工作 ===================