diff --git a/de/15.9/admin/fileconfig-guide.rst b/de/15.9/admin/fileconfig-guide.rst index d0492a3d..d82b3c3d 100644 --- a/de/15.9/admin/fileconfig-guide.rst +++ b/de/15.9/admin/fileconfig-guide.rst @@ -13,7 +13,7 @@ Welche Pfade gecrawlt werden, richtet sich nach dem im „Pfad" angegebenen Prot - ``smb://`` … Windows-Dateiserver/freigegebene Ordner (SMB/CIFS) - ``smb1://`` … Windows-Dateiserver/freigegebene Ordner über das ältere SMB1-Protokoll - ``ftp://`` … FTP-Server -- ``s3://`` … Amazon-S3-Bucket +- ``s3://`` … Amazon-S3-Bucket (erfordert das Plugin ``fess-storage-s3``) - ``gcs://`` … Google-Cloud-Storage-Bucket (erfordert das Plugin ``fess-storage-gcs``) Auf der Datei-Crawl-Konfigurationsseite können Sie Konfigurationen zum Crawlen von Dateien im Dateisystem oder in freigegebenen Netzwerkordnern verwalten. @@ -208,6 +208,12 @@ Für den S3-Zugriff sind Anmeldeinformationen erforderlich. Fügen Sie Folgendes client.secretKey=IHR_GEHEIMER_SCHLÜSSEL client.region=ap-northeast-1 +.. note:: + Die Unterstützung für Amazon S3 und S3-kompatible Speicher kommt aus dem Plugin + ``fess-storage-s3``, das nicht Teil der Distribution ist. Installieren Sie es über die + Seite **System > Plugin** in der Administrationsoberfläche oder mit + ``bin/fess-setup install plugin fess-storage-s3``. + Google Cloud Storage-Buckets crawlen ------------------------------------ diff --git a/de/15.9/admin/general-guide.rst b/de/15.9/admin/general-guide.rst index da0697f8..d2f00d13 100644 --- a/de/15.9/admin/general-guide.rst +++ b/de/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Geben Sie den Speichertyp an. Bei Auswahl von „Automatisch" wird der Speichertyp automatisch anhand des Endpunkts bestimmt. - **Automatisch**: Automatische Erkennung vom Endpunkt -- **S3**: Amazon S3 +- **S3**: Amazon S3 (erfordert das Plugin ``fess-storage-s3``) - **GCS**: Google Cloud Storage (erfordert das Plugin ``fess-storage-gcs``) Bucket diff --git a/de/15.9/admin/storage-guide.rst b/de/15.9/admin/storage-guide.rst index dc85e66a..09cf7416 100644 --- a/de/15.9/admin/storage-guide.rst +++ b/de/15.9/admin/storage-guide.rst @@ -29,6 +29,13 @@ S3-Einstellungen - Geheimer Schlüssel: AWS-Geheimschlüssel - Region: AWS-Region +.. note:: + Die Unterstützung für Amazon S3 und S3-kompatible Speicher kommt aus dem Plugin + ``fess-storage-s3``, das nicht Teil der Distribution ist. Installieren Sie es über die + Seite **System > Plugin** in der Administrationsoberfläche oder mit + ``bin/fess-setup install plugin fess-storage-s3``. + Bei Auswahl von „Automatisch" wird bei leerem Endpunkt ebenfalls S3 verwendet. + GCS-Einstellungen ~~~~~~~~~~~~~~~~~ diff --git a/de/15.9/config/crawler-advanced.rst b/de/15.9/config/crawler-advanced.rst index 73ef6327..0c5f89f8 100644 --- a/de/15.9/config/crawler-advanced.rst +++ b/de/15.9/config/crawler-advanced.rst @@ -176,7 +176,7 @@ Unterstützte Protokolle - ``http,https`` * - ``crawler.file.protocols`` - Protokolle für Datei-Crawling - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Kodierung der Crawling-Daten - ``UTF-8`` @@ -187,7 +187,7 @@ Konfigurationsbeispiel :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Umgebungsvariablen-Parameter @@ -1001,6 +1001,12 @@ S3/GCS-Crawler-Konfiguration S3-Crawler ---------- +.. note:: + Die Unterstützung für Amazon S3 und S3-kompatible Speicher kommt aus dem Plugin + ``fess-storage-s3``, das nicht Teil der Distribution ist. Installieren Sie es über die + Seite **System > Plugin** in der Administrationsoberfläche oder mit + ``bin/fess-setup install plugin fess-storage-s3``. + Konfiguration für das Crawlen von S3 und S3-kompatiblem Speicher (wie MinIO). Fügen Sie Folgendes zu „Konfigurationsparameter" in den Datei-Crawl-Einstellungen hinzu. diff --git a/de/15.9/install/upgrade.rst b/de/15.9/install/upgrade.rst index 5c594395..e974d9b8 100644 --- a/de/15.9/install/upgrade.rst +++ b/de/15.9/install/upgrade.rst @@ -470,7 +470,7 @@ Bei Major-Version-Upgrades wird die Neuerstellung des Index empfohlen. Upgrade von 15.8 auf 15.9 ========================= -Wenn Sie von 15.8 aktualisieren, sind die folgenden sechs Änderungen nicht abwärtskompatibel. +Wenn Sie von 15.8 aktualisieren, sind die folgenden sieben Änderungen nicht abwärtskompatibel. Entfernung des eingebetteten OpenSearch --------------------------------------- @@ -532,13 +532,40 @@ die Seite **System > Plugin** in der Administrationsoberfläche oder mit dem fol $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` ist auch aus dem ausgelieferten ``crawler.file.protocols`` verschwunden, das nun -``file,smb,smb1,ftp,s3`` lautet; das Plugin fügt es bei der Installation wieder hinzu. Bis -dahin wird eine Datei-Crawl-Konfiguration, deren Pfad mit ``gcs:`` beginnt, als ungültiges -Protokoll abgewiesen, und die Speicherseite meldet, dass für ``storage.type=gcs`` kein -Client registriert ist. +``file,smb,smb1,ftp`` lautet; das Plugin fügt es bei der Installation wieder hinzu. Bis dahin +wird eine Datei-Crawl-Konfiguration, deren Pfad mit ``gcs:`` beginnt, als Warnung +protokolliert und liefert nichts. Eine aktualisierte Installation behält ihr eigenes +``crawler.file.protocols``, der Pfad wird also weiterhin akzeptiert, aber kein Crawler-Client +verarbeitet ihn; in einer neuen Installation ist ``gcs:`` kein konfiguriertes Protokoll, +sodass die Administrationsoberfläche das Speichern des Pfades ablehnt und ein früher +gespeicherter Pfad als lokaler Dateipfad gelesen wird. Auch die Speicherseite protokolliert +eine Warnung und zeigt den Fehler mit dem Namen des zu installierenden Plugins an, wo sie +vorher nur eine leere Dateiliste anzeigte. Ohne Google Cloud Storage ist nichts zu tun. Amazon S3 und S3-kompatible Speicher wie MinIO -bleiben in der Distribution und sind nicht betroffen. +sind auf dieselbe Weise als Plugin ausgeliefert; siehe den nächsten Abschnitt. + +Amazon S3 wird als Plugin ausgeliefert +-------------------------------------- + +Das AWS-SDK ist nicht mehr Teil der Distribution; ``s3://``-Crawls und die Speichertypen +``s3`` und ``s3_compat`` kommen jetzt aus dem Plugin ``fess-storage-s3``. Installieren Sie es +über die Seite **System > Plugin** in der Administrationsoberfläche oder mit dem folgenden +Befehl. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` ist auch aus dem ausgelieferten ``crawler.file.protocols`` verschwunden, das nun +``file,smb,smb1,ftp`` lautet; das Plugin fügt es bei der Installation wieder hinzu. +``storage.type`` hat weiterhin den Standardwert ``auto``, der ohne gesetzten Endpunkt zu S3 +aufgelöst wird; die Speicherseite in der Administrationsoberfläche funktioniert daher erst +nach der Installation des Plugins, auch wenn Sie ``s3`` nie selbst angegeben haben. Ihre +``storage.*``-Werte bleiben erhalten, weil sie in ``WEB-INF/conf/system.properties`` liegen, +und ein vorhandenes ``crawler.file.protocols`` wird durch das Upgrade ebenfalls nicht ersetzt. + +Ohne Amazon S3 oder S3-kompatible Speicher wie MinIO ist nichts zu tun. Die eingebaute Skript-Engine wechselt von Groovy zu JavaScript -------------------------------------------------------------- @@ -571,8 +598,9 @@ Das Crawl-Protokoll ``storage`` wurde entfernt ---------------------------------------------- ``storage`` wird in ``crawler.file.protocols`` nicht mehr akzeptiert; der mitgelieferte Wert -lautet ``file,smb,smb1,ftp,s3``. Verwenden Sie stattdessen ``s3`` und stellen Sie jede +lautet ``file,smb,smb1,ftp``. Verwenden Sie stattdessen ``s3`` und stellen Sie jede Datei-Crawl-Konfiguration, deren Pfad mit ``storage:`` beginnt, auf einen ``s3:``-Pfad um. +``s3`` benötigt das Plugin ``fess-storage-s3``. Migrationsaufgaben speziell für 15.9 ==================================== diff --git a/en/15.9/admin/fileconfig-guide.rst b/en/15.9/admin/fileconfig-guide.rst index d2462580..1ae74a18 100644 --- a/en/15.9/admin/fileconfig-guide.rst +++ b/en/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ Crawl targets are determined by the protocol specified in the path: - ``smb://`` … Windows file server / shared folder (SMB/CIFS) - ``smb1://`` … Windows file server / shared folder over the legacy SMB1 protocol - ``ftp://`` … FTP server -- ``s3://`` … Amazon S3 bucket +- ``s3://`` … Amazon S3 bucket (requires the ``fess-storage-s3`` plugin) - ``gcs://`` … Google Cloud Storage bucket (requires the ``fess-storage-gcs`` plugin) Configuration Management @@ -207,6 +207,11 @@ S3 access requires authentication credentials. Add the following to "Configurati client.secretKey=YOUR_SECRET_KEY client.region=ap-northeast-1 +.. note:: + Amazon S3 and S3-compatible storage support comes from the ``fess-storage-s3`` plugin, which + is not part of the distribution. Install it from the System > Plugin page in the + administration screen, or with ``bin/fess-setup install plugin fess-storage-s3``. + Crawling Google Cloud Storage Buckets ------------------------------------- diff --git a/en/15.9/admin/general-guide.rst b/en/15.9/admin/general-guide.rst index c5fdf236..c2974b7a 100644 --- a/en/15.9/admin/general-guide.rst +++ b/en/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Specifies the storage type. When "Auto" is selected, the storage type is automatically determined from the endpoint. - **Auto**: Auto-detect from endpoint -- **S3**: Amazon S3 +- **S3**: Amazon S3 (requires the ``fess-storage-s3`` plugin) - **GCS**: Google Cloud Storage (requires the ``fess-storage-gcs`` plugin) Bucket diff --git a/en/15.9/admin/storage-guide.rst b/en/15.9/admin/storage-guide.rst index 6ec57322..86b04bc5 100644 --- a/en/15.9/admin/storage-guide.rst +++ b/en/15.9/admin/storage-guide.rst @@ -29,6 +29,12 @@ S3 Settings - Secret Key: AWS secret key - Region: AWS region +.. note:: + Amazon S3 and S3-compatible storage support comes from the ``fess-storage-s3`` plugin, which + is not part of the distribution. Install it from the System > Plugin page in the + administration screen, or with ``bin/fess-setup install plugin fess-storage-s3``. + The "Auto" type also resolves to S3 when the endpoint is blank. + GCS Settings ~~~~~~~~~~~~ diff --git a/en/15.9/config/crawler-advanced.rst b/en/15.9/config/crawler-advanced.rst index 2920ff0a..7208635d 100644 --- a/en/15.9/config/crawler-advanced.rst +++ b/en/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Supported Protocols - ``http,https`` * - ``crawler.file.protocols`` - File crawl protocols - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Crawling data encoding - ``UTF-8`` @@ -188,7 +188,7 @@ Configuration Example :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Environment Variable Parameters @@ -1003,6 +1003,11 @@ S3/GCS Crawler Configuration S3 Crawler ---------- +.. note:: + Amazon S3 and S3-compatible storage support comes from the ``fess-storage-s3`` plugin, which + is not part of the distribution. Install it from the System > Plugin page in the + administration screen, or with ``bin/fess-setup install plugin fess-storage-s3``. + Configuration for crawling S3 and S3-compatible storage (such as MinIO). Add the following to "Configuration Parameters" in the file crawl settings. diff --git a/en/15.9/config/properties.rst b/en/15.9/config/properties.rst index 9366de9b..635c258e 100644 --- a/en/15.9/config/properties.rst +++ b/en/15.9/config/properties.rst @@ -401,7 +401,7 @@ Index - http,http * - crawler.file.protocols - The protocols for file crawling. - - file,smb,smb1,ftp,s3 + - file,smb,smb1,ftp * - crawler.data.env.param.key.pattern - The regex pattern for Fess environment parameter keys. - ``^FESS_ENV_.*`` diff --git a/en/15.9/install/upgrade.rst b/en/15.9/install/upgrade.rst index f987f04e..05f36ab5 100644 --- a/en/15.9/install/upgrade.rst +++ b/en/15.9/install/upgrade.rst @@ -465,7 +465,7 @@ For major version upgrades, it is recommended to recreate the index. Upgrading from 15.8 to 15.9 =========================== -If you are upgrading from 15.8, the following six changes are not backward compatible. +If you are upgrading from 15.8, the following seven changes are not backward compatible. Removal of the embedded OpenSearch ---------------------------------- @@ -524,12 +524,36 @@ System > Plugin page in the administration screen, or with the command below. $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` also left the shipped ``crawler.file.protocols``, which is now -``file,smb,smb1,ftp,s3``; the plugin adds it back when it is installed. Until then a file -crawl configuration whose path begins with ``gcs:`` is rejected as an invalid protocol, and -the storage page reports that no client is registered for ``storage.type=gcs``. +``file,smb,smb1,ftp``; the plugin adds it back when it is installed. Until then a file crawl +configuration whose path begins with ``gcs:`` is logged as a warning and crawls nothing. An +installation that upgrades keeps its own ``crawler.file.protocols``, so the path is still +accepted but no crawler client handles it; on a new installation ``gcs:`` is not a configured +protocol, so the administration screen refuses to save the path and a path saved earlier is +read as a local file path. The storage page logs a warning as well and shows the failure as an +error naming the plugin to install, where before it rendered an empty file list. Nothing is needed if you do not use Google Cloud Storage. Amazon S3 and S3-compatible -storage such as MinIO stay in the distribution and are unaffected. +storage such as MinIO moved to a plugin in the same way; see the next section. + +Amazon S3 Moved to a Plugin +--------------------------- + +The AWS SDK is no longer part of the distribution, so ``s3://`` crawling and the ``s3`` and +``s3_compat`` storage types now come from the ``fess-storage-s3`` plugin. Install it from the +System > Plugin page in the administration screen, or with the command below. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` also left the shipped ``crawler.file.protocols``, which is now ``file,smb,smb1,ftp``; +the plugin adds it back when it is installed. ``storage.type`` still defaults to ``auto``, +which resolves to S3 when no endpoint is set, so the storage page in the administration screen +does not work until the plugin is installed even if you never named ``s3`` yourself. Your +``storage.*`` values are kept, because they live in ``WEB-INF/conf/system.properties``, and an +existing ``crawler.file.protocols`` is not replaced by the upgrade either. + +Nothing is needed if you do not use Amazon S3 or S3-compatible storage such as MinIO. The Built-in Script Engine Changed from Groovy to JavaScript ------------------------------------------------------------ @@ -560,8 +584,8 @@ The ``storage`` Crawl Protocol Was Removed ------------------------------------------ ``storage`` is no longer accepted in ``crawler.file.protocols``; the shipped value is -``file,smb,smb1,ftp,s3``. Use ``s3`` instead, and change any file crawling configuration whose -path begins with ``storage:`` to an ``s3:`` path. +``file,smb,smb1,ftp``. Use ``s3`` instead, and change any file crawling configuration whose +path begins with ``storage:`` to an ``s3:`` path. ``s3`` needs the ``fess-storage-s3`` plugin. 15.9-Specific Migration Tasks ============================= diff --git a/es/15.9/admin/fileconfig-guide.rst b/es/15.9/admin/fileconfig-guide.rst index 010918a2..23bdf34b 100644 --- a/es/15.9/admin/fileconfig-guide.rst +++ b/es/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ El objetivo del rastreo se determina según el protocolo especificado en la «Ru - ``smb://`` … servidor de archivos o carpeta compartida de Windows (SMB/CIFS) - ``smb1://`` … servidor de archivos o carpeta compartida de Windows mediante el antiguo protocolo SMB1 - ``ftp://`` … servidor FTP -- ``s3://`` … bucket de Amazon S3 +- ``s3://`` … bucket de Amazon S3 (requiere el plugin ``fess-storage-s3``) - ``gcs://`` … bucket de Google Cloud Storage (requiere el plugin ``fess-storage-gcs``) Método de gestión @@ -208,6 +208,12 @@ El acceso a S3 requiere credenciales de autenticación. Agregue lo siguiente en client.secretKey=SU_CLAVE_SECRETA client.region=ap-northeast-1 +.. note:: + La compatibilidad con Amazon S3 y el almacenamiento compatible con S3 proviene del plugin + ``fess-storage-s3``, que no forma parte de la distribución. Instálelo desde la página + **Sistema > Plugin** de la pantalla de administración o con + ``bin/fess-setup install plugin fess-storage-s3``. + Rastrear buckets de Google Cloud Storage ----------------------------------------- diff --git a/es/15.9/admin/general-guide.rst b/es/15.9/admin/general-guide.rst index 5e8d3c00..59b01499 100644 --- a/es/15.9/admin/general-guide.rst +++ b/es/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Especifique el tipo de almacenamiento. Cuando se selecciona "Automático", el tipo de almacenamiento se determina automáticamente a partir del punto final. - **Automático**: Detección automática desde el punto final -- **S3**: Amazon S3 +- **S3**: Amazon S3 (requiere el plugin ``fess-storage-s3``) - **GCS**: Google Cloud Storage (requiere el plugin ``fess-storage-gcs``) Cubo diff --git a/es/15.9/admin/storage-guide.rst b/es/15.9/admin/storage-guide.rst index 458d4a01..347511e2 100644 --- a/es/15.9/admin/storage-guide.rst +++ b/es/15.9/admin/storage-guide.rst @@ -29,6 +29,13 @@ Configuración de S3 - Clave secreta: Clave secreta de AWS - Región: Región de AWS +.. note:: + La compatibilidad con Amazon S3 y el almacenamiento compatible con S3 proviene del plugin + ``fess-storage-s3``, que no forma parte de la distribución. Instálelo desde la página + **Sistema > Plugin** de la pantalla de administración o con + ``bin/fess-setup install plugin fess-storage-s3``. + El tipo "Automático" también se resuelve como S3 cuando el punto final está vacío. + Configuración de GCS ~~~~~~~~~~~~~~~~~~~~ diff --git a/es/15.9/config/crawler-advanced.rst b/es/15.9/config/crawler-advanced.rst index 03ab7ec6..7f6bb1c7 100644 --- a/es/15.9/config/crawler-advanced.rst +++ b/es/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Protocolos Compatibles - ``http,https`` * - ``crawler.file.protocols`` - Protocolos para rastreo de archivos - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Codificación de datos de rastreo - ``UTF-8`` @@ -188,7 +188,7 @@ Ejemplo de Configuración :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Parámetros de Variables de Entorno @@ -1003,6 +1003,12 @@ Configuración del Rastreador S3/GCS Rastreador S3 ------------- +.. note:: + La compatibilidad con Amazon S3 y el almacenamiento compatible con S3 proviene del plugin + ``fess-storage-s3``, que no forma parte de la distribución. Instálelo desde la página + **Sistema > Plugin** de la pantalla de administración o con + ``bin/fess-setup install plugin fess-storage-s3``. + Configuración para rastrear Amazon S3 y almacenamiento compatible con S3 (MinIO, etc.). Escriba lo siguiente en "Parámetros de configuración" de la configuración de rastreo de archivos. diff --git a/es/15.9/install/upgrade.rst b/es/15.9/install/upgrade.rst index 55356d3a..45f496c8 100644 --- a/es/15.9/install/upgrade.rst +++ b/es/15.9/install/upgrade.rst @@ -470,7 +470,7 @@ Para actualizaciones de versión principal, se recomienda recrear el índice. Actualización de 15.8 a 15.9 ============================ -Si actualiza desde 15.8, los seis cambios siguientes no son retrocompatibles. +Si actualiza desde 15.8, los siete cambios siguientes no son retrocompatibles. Eliminación del OpenSearch integrado ------------------------------------ @@ -533,13 +533,41 @@ orden siguiente. $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` también ha salido del valor distribuido de ``crawler.file.protocols``, que ahora es -``file,smb,smb1,ftp,s3``; el plugin lo vuelve a añadir al instalarse. Hasta entonces, una -configuración de rastreo de archivos cuya ruta empieza por ``gcs:`` se rechaza como protocolo -no válido, y la página de almacenamiento informa de que no hay ningún cliente registrado para -``storage.type=gcs``. +``file,smb,smb1,ftp``; el plugin lo vuelve a añadir al instalarse. Hasta entonces, una +configuración de rastreo de archivos cuya ruta empieza por ``gcs:`` se registra como +advertencia y no recupera nada. Una instalación que se actualiza conserva su propio +``crawler.file.protocols``, por lo que la ruta se sigue aceptando pero ningún cliente de +rastreo la atiende; en una instalación nueva ``gcs:`` no es un protocolo configurado, así que +la pantalla de administración rechaza guardar la ruta y una ruta guardada antes se lee como +ruta de archivo local. La página de almacenamiento también registra una advertencia y muestra +el fallo como un error con el nombre del plugin que hay que instalar, donde antes solo +mostraba una lista de archivos vacía. Si no utiliza Google Cloud Storage, no hay nada que hacer. Amazon S3 y el almacenamiento -compatible con S3, como MinIO, siguen en la distribución y no se ven afectados. +compatible con S3, como MinIO, han pasado a un plugin de la misma manera; consulte la sección +siguiente. + +Amazon S3 pasa a un plugin +-------------------------- + +El SDK de AWS ya no forma parte de la distribución, por lo que el rastreo de ``s3://`` y los +tipos de almacenamiento ``s3`` y ``s3_compat`` provienen ahora del plugin +``fess-storage-s3``. Instálelo desde la página **Sistema > Plugin** de la pantalla de +administración o con la orden siguiente. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` también ha salido del valor distribuido de ``crawler.file.protocols``, que ahora es +``file,smb,smb1,ftp``; el plugin lo vuelve a añadir al instalarse. ``storage.type`` sigue +teniendo el valor predeterminado ``auto``, que se resuelve como S3 cuando no hay ningún punto +final configurado, así que la página de almacenamiento de la pantalla de administración no +funciona hasta que se instala el plugin, aunque nunca haya indicado ``s3`` explícitamente. Sus +valores ``storage.*`` se conservan, porque están en ``WEB-INF/conf/system.properties``, y un +``crawler.file.protocols`` existente tampoco se sustituye en la actualización. + +Si no utiliza Amazon S3 ni almacenamiento compatible con S3 como MinIO, no hay nada que hacer. El motor de scripting integrado pasa de Groovy a JavaScript ----------------------------------------------------------- @@ -571,8 +599,9 @@ El protocolo de rastreo ``storage`` se ha eliminado --------------------------------------------------- ``storage`` ya no se admite en ``crawler.file.protocols``; el valor incluido es -``file,smb,smb1,ftp,s3``. Utilice ``s3`` en su lugar y cambie a una ruta ``s3:`` cualquier -configuración de rastreo de archivos cuya ruta empiece por ``storage:``. +``file,smb,smb1,ftp``. Utilice ``s3`` en su lugar y cambie a una ruta ``s3:`` cualquier +configuración de rastreo de archivos cuya ruta empiece por ``storage:``. ``s3`` necesita el +plugin ``fess-storage-s3``. Migración Específica de 15.9 ============================== diff --git a/fr/15.9/admin/fileconfig-guide.rst b/fr/15.9/admin/fileconfig-guide.rst index b5110876..889db516 100644 --- a/fr/15.9/admin/fileconfig-guide.rst +++ b/fr/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ Le crawl cible est déterminé par le protocole spécifié dans le « chemin » - ``smb://`` … serveur de fichiers/dossier partagé Windows (SMB/CIFS) - ``smb1://`` … serveur de fichiers/dossier partagé Windows utilisant l'ancien protocole SMB1 - ``ftp://`` … serveur FTP -- ``s3://`` … bucket Amazon S3 +- ``s3://`` … bucket Amazon S3 (nécessite le plugin ``fess-storage-s3``) - ``gcs://`` … bucket Google Cloud Storage (nécessite le plugin ``fess-storage-gcs``) Gestion @@ -208,6 +208,12 @@ L'accès à S3 nécessite des identifiants d'authentification. Ajoutez ce qui su client.secretKey=VOTRE_CLE_SECRETE client.region=ap-northeast-1 +.. note:: + La prise en charge d'Amazon S3 et des stockages compatibles S3 provient du plugin + ``fess-storage-s3``, qui ne fait pas partie de la distribution. Installez-le depuis la page + **Système > Plugin** de l'écran d'administration ou avec + ``bin/fess-setup install plugin fess-storage-s3``. + Crawler les buckets Google Cloud Storage ----------------------------------------- diff --git a/fr/15.9/admin/general-guide.rst b/fr/15.9/admin/general-guide.rst index 53170884..e01cffad 100644 --- a/fr/15.9/admin/general-guide.rst +++ b/fr/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Spécifie le type de stockage. Lorsque « Automatique » est sélectionné, le type de stockage est automatiquement déterminé à partir du point de terminaison. - **Automatique** : Détection automatique à partir du point de terminaison -- **S3** : Amazon S3 +- **S3** : Amazon S3 (nécessite le plugin ``fess-storage-s3``) - **GCS** : Google Cloud Storage (nécessite le plugin ``fess-storage-gcs``) Compartiment diff --git a/fr/15.9/admin/storage-guide.rst b/fr/15.9/admin/storage-guide.rst index 7fcabbfc..c0472624 100644 --- a/fr/15.9/admin/storage-guide.rst +++ b/fr/15.9/admin/storage-guide.rst @@ -29,6 +29,13 @@ Paramètres S3 - Clé secrète : Clé secrète AWS - Région : Région AWS +.. note:: + La prise en charge d'Amazon S3 et des stockages compatibles S3 provient du plugin + ``fess-storage-s3``, qui ne fait pas partie de la distribution. Installez-le depuis la page + **Système > Plugin** de l'écran d'administration ou avec + ``bin/fess-setup install plugin fess-storage-s3``. + Le type « Automatique » se résout aussi en S3 lorsque le point de terminaison est vide. + Paramètres GCS ~~~~~~~~~~~~~~ diff --git a/fr/15.9/config/crawler-advanced.rst b/fr/15.9/config/crawler-advanced.rst index 3d2b7efc..83e15cb0 100644 --- a/fr/15.9/config/crawler-advanced.rst +++ b/fr/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Protocoles supportés - ``http,https`` * - ``crawler.file.protocols`` - Protocoles d'indexation de fichiers - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - Encodage des données de crawl - ``UTF-8`` @@ -188,7 +188,7 @@ Exemple de configuration :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 Paramètres de variables d'environnement @@ -1003,6 +1003,12 @@ Configuration du crawler S3/GCS Crawler S3 ---------- +.. note:: + La prise en charge d'Amazon S3 et des stockages compatibles S3 provient du plugin + ``fess-storage-s3``, qui ne fait pas partie de la distribution. Installez-le depuis la page + **Système > Plugin** de l'écran d'administration ou avec + ``bin/fess-setup install plugin fess-storage-s3``. + Configuration pour crawler S3 et le stockage compatible S3 (comme MinIO). Ajoutez ce qui suit aux « Paramètres de configuration » dans les paramètres de crawl de fichiers. diff --git a/fr/15.9/install/upgrade.rst b/fr/15.9/install/upgrade.rst index a20600a5..a78aefd8 100644 --- a/fr/15.9/install/upgrade.rst +++ b/fr/15.9/install/upgrade.rst @@ -473,7 +473,7 @@ En cas de mise à niveau majeure, il est recommandé de recréer l'index. Mise à niveau de 15.8 vers 15.9 =============================== -Si vous effectuez une mise à niveau depuis la 15.8, les six changements suivants ne sont pas +Si vous effectuez une mise à niveau depuis la 15.8, les sept changements suivants ne sont pas rétrocompatibles. Suppression de l'OpenSearch intégré @@ -537,13 +537,41 @@ commande ci-dessous. $ bin/fess-setup install plugin fess-storage-gcs ``gcs`` a également quitté la valeur fournie de ``crawler.file.protocols``, qui est -maintenant ``file,smb,smb1,ftp,s3`` ; le plugin la rétablit lors de son installation. +maintenant ``file,smb,smb1,ftp`` ; le plugin la rétablit lors de son installation. Jusque-là, une configuration d'exploration de fichiers dont le chemin commence par ``gcs:`` -est rejetée comme protocole invalide, et la page de stockage signale qu'aucun client n'est -enregistré pour ``storage.type=gcs``. +est signalée par un avertissement et ne récupère rien. Une installation mise à niveau conserve +son propre ``crawler.file.protocols``, le chemin est donc toujours accepté mais aucun client +d'exploration ne le prend en charge ; dans une nouvelle installation, ``gcs:`` n'est pas un +protocole configuré, l'écran d'administration refuse donc d'enregistrer le chemin et un chemin +enregistré auparavant est lu comme un chemin de fichier local. La page de stockage journalise +elle aussi un avertissement et affiche l'échec comme une erreur nommant le plugin à installer, +là où elle n'affichait auparavant qu'une liste de fichiers vide. Rien à faire si vous n'utilisez pas Google Cloud Storage. Amazon S3 et les stockages -compatibles S3 tels que MinIO restent dans la distribution et ne sont pas concernés. +compatibles S3 tels que MinIO sont passés dans un plugin de la même manière ; voir la section +suivante. + +Amazon S3 passe dans un plugin +------------------------------ + +Le SDK AWS ne fait plus partie de la distribution : l'exploration ``s3://`` et les types de +stockage ``s3`` et ``s3_compat`` proviennent désormais du plugin ``fess-storage-s3``. +Installez-le depuis la page **Système > Plugin** de l'écran d'administration ou avec la +commande ci-dessous. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``s3`` a également quitté la valeur fournie de ``crawler.file.protocols``, qui est maintenant +``file,smb,smb1,ftp`` ; le plugin la rétablit lors de son installation. ``storage.type`` vaut +toujours ``auto`` par défaut, ce qui se résout en S3 lorsque aucun point de terminaison n'est +défini : la page de stockage de l'écran d'administration ne fonctionne donc qu'après +l'installation du plugin, même si vous n'avez jamais indiqué ``s3`` vous-même. Vos valeurs +``storage.*`` sont conservées, car elles se trouvent dans ``WEB-INF/conf/system.properties``, +et un ``crawler.file.protocols`` existant n'est pas non plus remplacé par la mise à niveau. + +Rien à faire si vous n'utilisez pas Amazon S3 ni un stockage compatible S3 tel que MinIO. Le moteur de script intégré passe de Groovy à JavaScript -------------------------------------------------------- @@ -575,8 +603,9 @@ Le protocole de crawl ``storage`` a été supprimé ------------------------------------------------ ``storage`` n'est plus accepté dans ``crawler.file.protocols`` ; la valeur fournie est -``file,smb,smb1,ftp,s3``. Utilisez ``s3`` à la place et remplacez par un chemin ``s3:`` toute -configuration de crawl de fichiers dont le chemin commence par ``storage:``. +``file,smb,smb1,ftp``. Utilisez ``s3`` à la place et remplacez par un chemin ``s3:`` toute +configuration de crawl de fichiers dont le chemin commence par ``storage:``. ``s3`` nécessite +le plugin ``fess-storage-s3``. Migrations spécifiques à la 15.9 ================================ diff --git a/ja/15.9/admin/fileconfig-guide.rst b/ja/15.9/admin/fileconfig-guide.rst index 5e541eb3..0f5f3358 100644 --- a/ja/15.9/admin/fileconfig-guide.rst +++ b/ja/15.9/admin/fileconfig-guide.rst @@ -13,7 +13,7 @@ - ``smb://`` … Windows ファイルサーバー/共有フォルダー(SMB/CIFS) - ``smb1://`` … 旧来の SMB1 プロトコルを使用する Windows ファイルサーバー/共有フォルダー - ``ftp://`` … FTP サーバー -- ``s3://`` … Amazon S3 バケット +- ``s3://`` … Amazon S3 バケット( ``fess-storage-s3`` プラグインが必要) - ``gcs://`` … Google Cloud Storage バケット( ``fess-storage-gcs`` プラグインが必要) 管理方法 @@ -206,6 +206,11 @@ S3へのアクセスには認証情報が必要です。「設定パラメータ client.secretKey=YOUR_SECRET_KEY client.region=ap-northeast-1 +.. note:: + Amazon S3 と S3 互換ストレージへの対応は ``fess-storage-s3`` プラグインから提供されます。 + 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-storage-s3`` で導入してください。 + Google Cloud Storageバケットをクロール ----------------------------------- diff --git a/ja/15.9/admin/general-guide.rst b/ja/15.9/admin/general-guide.rst index 7698f7cd..650b2708 100644 --- a/ja/15.9/admin/general-guide.rst +++ b/ja/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ ERROR や WARN レベルのログイベントを自動的に捕捉して通知 「自動」を選択すると、エンドポイントから自動的にストレージタイプを判定します。 - **自動**: エンドポイントから自動判定 -- **S3**: Amazon S3 +- **S3**: Amazon S3( ``fess-storage-s3`` プラグインが必要) - **GCS**: Google Cloud Storage( ``fess-storage-gcs`` プラグインが必要) バケット diff --git a/ja/15.9/admin/storage-guide.rst b/ja/15.9/admin/storage-guide.rst index 43a72c51..868cd3e8 100644 --- a/ja/15.9/admin/storage-guide.rst +++ b/ja/15.9/admin/storage-guide.rst @@ -29,6 +29,12 @@ S3の設定 - シークレットキー: AWSシークレットキー - リージョン: AWSリージョン +.. note:: + Amazon S3 と S3 互換ストレージへの対応は ``fess-storage-s3`` プラグインから提供されます。 + 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-storage-s3`` で導入してください。 + タイプ「自動」も、エンドポイントが空欄の場合は S3 として扱われます。 + GCSの設定 ~~~~~~~ diff --git a/ja/15.9/config/crawler-advanced.rst b/ja/15.9/config/crawler-advanced.rst index 2eba3ef2..3d9772dc 100644 --- a/ja/15.9/config/crawler-advanced.rst +++ b/ja/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTPクローラーのスレッドプール設定です。 - ``http,https`` * - ``crawler.file.protocols`` - ファイルクロールのプロトコル - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - クロールデータのエンコーディング - ``UTF-8`` @@ -188,7 +188,7 @@ HTTPクローラーのスレッドプール設定です。 :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 環境変数パラメーター @@ -1006,6 +1006,11 @@ S3/GCSクローラー設定 S3クローラー ------------ +.. note:: + Amazon S3 と S3 互換ストレージへの対応は ``fess-storage-s3`` プラグインから提供されます。 + 配布物には同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-storage-s3`` で導入してください。 + S3およびS3互換ストレージ(MinIO等)をクロールするための設定です。 ファイルクロール設定の「設定パラメーター」に以下を記述します。 diff --git a/ja/15.9/install/upgrade.rst b/ja/15.9/install/upgrade.rst index 065e726b..569356a6 100644 --- a/ja/15.9/install/upgrade.rst +++ b/ja/15.9/install/upgrade.rst @@ -461,7 +461,7 @@ Docker 版:: 15.8 から 15.9 へのアップグレード ================================= -15.8 からアップグレードする場合、以下の 6 点が互換性のない変更です。 +15.8 からアップグレードする場合、以下の 7 点が互換性のない変更です。 組み込み OpenSearch の廃止 -------------------------- @@ -520,13 +520,37 @@ Google Cloud Storage の SDK は配布物に含まれなくなり、 ``gcs://`` $ bin/fess-setup install plugin fess-storage-gcs -``crawler.file.protocols`` の既定値からも ``gcs`` が外れ、 ``file,smb,smb1,ftp,s3`` に +``crawler.file.protocols`` の既定値からも ``gcs`` が外れ、 ``file,smb,smb1,ftp`` に なりました。プラグインを導入すると再び追加されます。導入前は、パスが ``gcs:`` で始まる -ファイルクロール設定は不正なプロトコルとして拒否され、ストレージ画面は -``storage.type=gcs`` に対応するクライアントが登録されていないと報告します。 +ファイルクロール設定について警告がログに記録されるだけで、何も取得できません。 +アップグレードした既存インストールでは ``crawler.file.protocols`` がそのまま残るため、 +パスは受け付けられますが、対応するクローラクライアントがありません。新規インストールでは +``gcs:`` が設定済みのプロトコルではないため、管理画面はそのパスの保存を拒否し、以前に +保存されたパスはローカルファイルパスとして扱われます。ストレージ画面も警告をログに記録し、 +導入すべきプラグイン名を含むエラーを表示します。以前は空のファイル一覧を表示するだけでした。 Google Cloud Storage を使用していない場合、対応は不要です。Amazon S3 と MinIO などの -S3 互換ストレージは配布物に残っており、影響はありません。 +S3 互換ストレージも同じようにプラグインへ移動しました。次の節を参照してください。 + +Amazon S3 をプラグインへ移動 +---------------------------- + +AWS SDK は配布物に含まれなくなり、 ``s3://`` のクロールと ``s3`` および ``s3_compat`` の +ストレージタイプは ``fess-storage-s3`` プラグインから提供されます。管理画面の +「システム > プラグイン」ページ、または次のコマンドで導入してください。 + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``crawler.file.protocols`` の既定値からも ``s3`` が外れ、 ``file,smb,smb1,ftp`` に +なりました。プラグインを導入すると再び追加されます。 ``storage.type`` の既定値は ``auto`` +のままで、エンドポイントが未設定なら S3 に解決されるため、 ``s3`` を明示していなくても +プラグインを導入するまで管理画面のストレージは機能しません。 ``storage.*`` の設定値は +``WEB-INF/conf/system.properties`` にあるため残り、既存の ``crawler.file.protocols`` も +アップグレードで置き換わりません。 + +Amazon S3 と MinIO などの S3 互換ストレージを使用していない場合、対応は不要です。 標準のスクリプトエンジンが Groovy から JavaScript に変更 -------------------------------------------------------- @@ -558,8 +582,9 @@ JavaScript エンジン向けに書き換えてください。JavaScript では ------------------------------------- ``crawler.file.protocols`` で ``storage`` は指定できなくなりました。同梱の値は -``file,smb,smb1,ftp,s3`` です。代わりに ``s3`` を使用し、 ``storage:`` で始まるパスを -指定しているファイルクロール設定は ``s3:`` のパスへ変更してください。 +``file,smb,smb1,ftp`` です。代わりに ``s3`` を使用し、 ``storage:`` で始まるパスを +指定しているファイルクロール設定は ``s3:`` のパスへ変更してください。 ``s3`` には +``fess-storage-s3`` プラグインが必要です。 15.9 固有の移行作業 =================== diff --git a/ko/15.9/admin/fileconfig-guide.rst b/ko/15.9/admin/fileconfig-guide.rst index 629fd4bb..118543b8 100644 --- a/ko/15.9/admin/fileconfig-guide.rst +++ b/ko/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ - ``smb://`` … Windows 파일 서버/공유 폴더(SMB/CIFS) - ``smb1://`` … 예전 SMB1 프로토콜을 사용하는 Windows 파일 서버/공유 폴더 - ``ftp://`` … FTP 서버 -- ``s3://`` … Amazon S3 버킷 +- ``s3://`` … Amazon S3 버킷( ``fess-storage-s3`` 플러그인 필요) - ``gcs://`` … Google Cloud Storage 버킷( ``fess-storage-gcs`` 플러그인 필요) 관리 방법 diff --git a/ko/15.9/admin/general-guide.rst b/ko/15.9/admin/general-guide.rst index 858cc4ac..de9b0d01 100644 --- a/ko/15.9/admin/general-guide.rst +++ b/ko/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ ERROR 및 WARN 레벨의 로그 이벤트를 자동으로 캡처하여 알림을 「자동」을 선택하면 엔드포인트에서 자동으로 스토리지 유형을 판정합니다. - **자동**: 엔드포인트에서 자동 판정 -- **S3**: Amazon S3 +- **S3**: Amazon S3( ``fess-storage-s3`` 플러그인 필요) - **GCS**: Google Cloud Storage( ``fess-storage-gcs`` 플러그인 필요) 버킷 diff --git a/ko/15.9/admin/storage-guide.rst b/ko/15.9/admin/storage-guide.rst index 00ab3ad3..f5733e00 100644 --- a/ko/15.9/admin/storage-guide.rst +++ b/ko/15.9/admin/storage-guide.rst @@ -20,6 +20,11 @@ - 비밀 키: 스토리지 서버의 비밀 키 - 버킷: 관리할 버킷 이름 +.. note:: + Amazon S3 및 S3 호환 스토리지 지원은 ``fess-storage-s3`` 플러그인에서 제공됩니다. 배포물에 + 포함되어 있지 않으므로 관리 화면의 「시스템 > 플러그인」 페이지 또는 + ``bin/fess-setup install plugin fess-storage-s3`` 로 설치하십시오. + 표시 방법 ------ diff --git a/ko/15.9/config/crawler-advanced.rst b/ko/15.9/config/crawler-advanced.rst index c2fada10..2d9574dd 100644 --- a/ko/15.9/config/crawler-advanced.rst +++ b/ko/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTP 크롤러의 스레드 풀 설정입니다. - ``http,https`` * - ``crawler.file.protocols`` - 파일 크롤링 프로토콜 - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - 크롤링 데이터 인코딩 - ``UTF-8`` @@ -188,7 +188,7 @@ HTTP 크롤러의 스레드 풀 설정입니다. :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 환경 변수 파라미터 @@ -1004,6 +1004,11 @@ S3/GCS 크롤러 설정 S3 크롤러 ------------ +.. note:: + Amazon S3 및 S3 호환 스토리지 지원은 ``fess-storage-s3`` 플러그인에서 제공됩니다. 배포물에 + 포함되어 있지 않으므로 관리 화면의 「시스템 > 플러그인」 페이지 또는 + ``bin/fess-setup install plugin fess-storage-s3`` 로 설치하십시오. + S3 및 S3 호환 스토리지(MinIO 등)를 크롤링하기 위한 설정입니다. 파일 크롤 설정의 "설정 파라미터"에 다음을 기술합니다. diff --git a/ko/15.9/install/upgrade.rst b/ko/15.9/install/upgrade.rst index c1de423e..f1c9f2a8 100644 --- a/ko/15.9/install/upgrade.rst +++ b/ko/15.9/install/upgrade.rst @@ -461,7 +461,7 @@ Docker 버전:: 15.8에서 15.9로 업그레이드 ========================== -15.8에서 업그레이드하는 경우 다음 여섯 가지가 하위 호환되지 않는 변경입니다. +15.8에서 업그레이드하는 경우 다음 일곱 가지가 하위 호환되지 않는 변경입니다. 내장 OpenSearch 폐지 -------------------- @@ -519,13 +519,37 @@ Google Cloud Storage 의 SDK 는 더 이상 배포물에 포함되지 않으며, $ bin/fess-setup install plugin fess-storage-gcs -``crawler.file.protocols`` 의 기본값에서도 ``gcs`` 가 빠져 ``file,smb,smb1,ftp,s3`` 가 +``crawler.file.protocols`` 의 기본값에서도 ``gcs`` 가 빠져 ``file,smb,smb1,ftp`` 가 되었습니다. 플러그인을 설치하면 다시 추가됩니다. 설치 전에는 경로가 ``gcs:`` 로 시작하는 -파일 크롤링 설정이 잘못된 프로토콜로 거부되고, 스토리지 화면은 ``storage.type=gcs`` 에 -등록된 클라이언트가 없다고 보고합니다. +파일 크롤링 설정에 대해 경고가 기록될 뿐이며 아무것도 가져오지 않습니다. 업그레이드한 +기존 설치는 자체 ``crawler.file.protocols`` 를 그대로 유지하므로 경로는 계속 허용되지만 +처리할 크롤러 클라이언트가 없고, 새로 설치한 경우에는 ``gcs:`` 가 설정된 프로토콜이 +아니므로 관리 화면이 경로 저장을 거부하고 이전에 저장된 경로는 로컬 파일 경로로 +처리됩니다. 스토리지 화면도 경고를 기록하고 설치해야 하는 플러그인 이름이 포함된 오류를 +표시합니다. 이전에는 빈 파일 목록만 표시했습니다. Google Cloud Storage 를 사용하지 않는 경우에는 대응이 필요 없습니다. Amazon S3 와 MinIO -등 S3 호환 스토리지는 배포물에 그대로 남아 있어 영향이 없습니다. +등 S3 호환 스토리지도 같은 방식으로 플러그인으로 이동했습니다. 다음 절을 참조하십시오. + +Amazon S3 를 플러그인으로 이동 +------------------------------ + +AWS SDK 는 더 이상 배포물에 포함되지 않으며, ``s3://`` 크롤링과 ``s3`` 및 ``s3_compat`` +스토리지 타입은 ``fess-storage-s3`` 플러그인에서 제공됩니다. 관리 화면의 +「시스템 > 플러그인」 페이지 또는 아래 명령으로 설치하십시오. + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``crawler.file.protocols`` 의 기본값에서도 ``s3`` 가 빠져 ``file,smb,smb1,ftp`` 가 +되었습니다. 플러그인을 설치하면 다시 추가됩니다. ``storage.type`` 의 기본값은 여전히 +``auto`` 이며 엔드포인트가 설정되지 않으면 S3 로 해석되므로, ``s3`` 를 직접 지정하지 +않았더라도 플러그인을 설치할 때까지 관리 화면의 스토리지는 동작하지 않습니다. +``storage.*`` 설정값은 ``WEB-INF/conf/system.properties`` 에 있으므로 그대로 남고, 기존 +``crawler.file.protocols`` 도 업그레이드로 교체되지 않습니다. + +Amazon S3 와 MinIO 등 S3 호환 스토리지를 사용하지 않는 경우에는 대응이 필요 없습니다. 내장 스크립트 엔진이 Groovy에서 JavaScript로 변경 ------------------------------------------------- @@ -556,8 +580,9 @@ JavaScript의 배열 리터럴은 Java의 ``String[]`` 로 자동 변환되므 ------------------------------ ``crawler.file.protocols`` 에서 ``storage`` 는 더 이상 사용할 수 없으며, 기본 제공 값은 -``file,smb,smb1,ftp,s3`` 입니다. 대신 ``s3`` 를 사용하고, 경로가 ``storage:`` 로 시작하는 -파일 크롤 설정은 ``s3:`` 경로로 변경하십시오. +``file,smb,smb1,ftp`` 입니다. 대신 ``s3`` 를 사용하고, 경로가 ``storage:`` 로 시작하는 +파일 크롤 설정은 ``s3:`` 경로로 변경하십시오. ``s3`` 에는 ``fess-storage-s3`` 플러그인이 +필요합니다. 15.9 전용 마이그레이션 작업 =========================== diff --git a/zh-cn/15.9/admin/fileconfig-guide.rst b/zh-cn/15.9/admin/fileconfig-guide.rst index 586876f3..89976dab 100644 --- a/zh-cn/15.9/admin/fileconfig-guide.rst +++ b/zh-cn/15.9/admin/fileconfig-guide.rst @@ -15,7 +15,7 @@ - ``smb://`` … Windows 文件服务器/共享文件夹(SMB/CIFS) - ``smb1://`` … 使用旧版 SMB1 协议的 Windows 文件服务器/共享文件夹 - ``ftp://`` … FTP 服务器 -- ``s3://`` … Amazon S3 存储桶 +- ``s3://`` … Amazon S3 存储桶(需要 ``fess-storage-s3`` 插件) - ``gcs://`` … Google Cloud Storage 存储桶(需要 ``fess-storage-gcs`` 插件) 管理方式 @@ -208,6 +208,10 @@ client.secretKey=您的私密密钥 client.region=ap-northeast-1 +.. note:: + Amazon S3 与 S3 兼容存储的支持由 ``fess-storage-s3`` 插件提供,该插件不随发行包分发。请从 + 管理界面的「系统 > 插件」页面安装,或执行 ``bin/fess-setup install plugin fess-storage-s3`` 。 + 抓取 Google Cloud Storage 存储桶 --------------------------------- diff --git a/zh-cn/15.9/admin/general-guide.rst b/zh-cn/15.9/admin/general-guide.rst index 67d42ce2..041d522a 100644 --- a/zh-cn/15.9/admin/general-guide.rst +++ b/zh-cn/15.9/admin/general-guide.rst @@ -575,7 +575,7 @@ Google Chat Webhook URLs 选择"自动"时,将根据端点自动判断存储类型。 - **自动**: 根据端点自动判断 -- **S3**: Amazon S3 +- **S3**: Amazon S3(需要 ``fess-storage-s3`` 插件) - **GCS**: Google Cloud Storage(需要 ``fess-storage-gcs`` 插件) 存储桶 diff --git a/zh-cn/15.9/admin/storage-guide.rst b/zh-cn/15.9/admin/storage-guide.rst index 63d76bec..ce7c937f 100644 --- a/zh-cn/15.9/admin/storage-guide.rst +++ b/zh-cn/15.9/admin/storage-guide.rst @@ -29,6 +29,11 @@ S3 设置 - 密钥: AWS 密钥 - 区域: AWS 区域 +.. note:: + Amazon S3 与 S3 兼容存储的支持由 ``fess-storage-s3`` 插件提供,该插件不随发行包分发。请从 + 管理界面的「系统 > 插件」页面安装,或执行 ``bin/fess-setup install plugin fess-storage-s3`` 。 + 端点为空时,类型"自动"也会解析为 S3 。 + GCS 设置 ~~~~~~~~ diff --git a/zh-cn/15.9/config/crawler-advanced.rst b/zh-cn/15.9/config/crawler-advanced.rst index 76676b03..97d61940 100644 --- a/zh-cn/15.9/config/crawler-advanced.rst +++ b/zh-cn/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTP 爬虫的线程池配置。 - ``http,https`` * - ``crawler.file.protocols`` - 文件爬取协议 - - ``file,smb,smb1,ftp,s3`` + - ``file,smb,smb1,ftp`` * - ``crawler.crawling.data.encoding`` - 爬取数据编码 - ``UTF-8`` @@ -188,7 +188,7 @@ HTTP 爬虫的线程池配置。 :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3 + crawler.file.protocols=file,smb,smb1,ftp crawler.crawling.data.encoding=UTF-8 环境变量参数 @@ -1002,6 +1002,10 @@ S3/GCS 爬虫配置 S3 爬虫 ------- +.. note:: + Amazon S3 与 S3 兼容存储的支持由 ``fess-storage-s3`` 插件提供,该插件不随发行包分发。请从 + 管理界面的「系统 > 插件」页面安装,或执行 ``bin/fess-setup install plugin fess-storage-s3`` 。 + 用于爬取 Amazon S3 和 S3 兼容存储(MinIO 等)的配置。 .. list-table:: diff --git a/zh-cn/15.9/install/upgrade.rst b/zh-cn/15.9/install/upgrade.rst index f37c8708..ed0d9b6f 100644 --- a/zh-cn/15.9/install/upgrade.rst +++ b/zh-cn/15.9/install/upgrade.rst @@ -457,7 +457,7 @@ Docker 版:: 从 15.8 升级到 15.9 =================== -若从 15.8 升级,以下六项为不向后兼容的变更。 +若从 15.8 升级,以下七项为不向后兼容的变更。 内嵌 OpenSearch 的移除 ---------------------- @@ -513,11 +513,33 @@ Google Cloud Storage 的 SDK 不再包含在发行包中, ``gcs://`` 爬取与 $ bin/fess-setup install plugin fess-storage-gcs ``crawler.file.protocols`` 的随附取值中也去掉了 ``gcs``\ ,现为 -``file,smb,smb1,ftp,s3``\ 。安装插件后会重新加入。在此之前,路径以 ``gcs:`` 开头的文件 -爬取配置会因协议无效而被拒绝,存储页面则会报告没有为 ``storage.type=gcs`` 注册客户端。 +``file,smb,smb1,ftp``\ 。安装插件后会重新加入。在此之前,路径以 ``gcs:`` 开头的文件 +爬取配置只会记录一条警告,且什么都取不到。升级后的现有安装会保留自己的 +``crawler.file.protocols``\ ,因此路径仍被接受,但没有可处理它的爬虫客户端;新安装中 +``gcs:`` 不是已配置的协议,管理界面会拒绝保存该路径,而先前保存的路径会被当作本地文件 +路径处理。存储页面同样会记录警告,并把失败作为错误显示出来,文字中包含需要安装的插件 +名称;此前它只显示一个空的文件列表。 -如果不使用 Google Cloud Storage,则无需处理。Amazon S3 以及 MinIO 等兼容 S3 的存储仍在 -发行包中,不受影响。 +如果不使用 Google Cloud Storage,则无需处理。Amazon S3 以及 MinIO 等兼容 S3 的存储也以 +同样的方式移至插件,请参阅下一节。 + +Amazon S3 移至插件 +------------------ + +AWS SDK 不再包含在发行包中, ``s3://`` 爬取与 ``s3``\ 、 ``s3_compat`` 存储类型改由 +``fess-storage-s3`` 插件提供。请从管理界面的「系统 > 插件」页面安装,或执行以下命令。 + +:: + + $ bin/fess-setup install plugin fess-storage-s3 + +``crawler.file.protocols`` 的随附取值中也去掉了 ``s3``\ ,现为 ``file,smb,smb1,ftp``\ 。 +安装插件后会重新加入。 ``storage.type`` 的默认值仍为 ``auto``\ ,未设置端点时会解析为 +S3,因此即使从未显式指定 ``s3``\ ,在安装插件之前管理界面的存储功能也无法使用。 +``storage.*`` 的取值位于 ``WEB-INF/conf/system.properties``\ ,因此会保留下来,现有的 +``crawler.file.protocols`` 也不会被升级覆盖。 + +如果不使用 Amazon S3 或 MinIO 等兼容 S3 的存储,则无需处理。 内置脚本引擎由 Groovy 改为 JavaScript ------------------------------------- @@ -544,8 +566,9 @@ Google Cloud Storage 的 SDK 不再包含在发行包中, ``gcs://`` 爬取与 爬取协议 ``storage`` 已删除 --------------------------- -``crawler.file.protocols`` 中不再接受 ``storage`` ,随附的值为 ``file,smb,smb1,ftp,s3`` 。 -请改用 ``s3`` ,并将路径以 ``storage:`` 开头的文件爬取配置改为 ``s3:`` 路径。 +``crawler.file.protocols`` 中不再接受 ``storage`` ,随附的值为 ``file,smb,smb1,ftp`` 。 +请改用 ``s3`` ,并将路径以 ``storage:`` 开头的文件爬取配置改为 ``s3:`` 路径。 ``s3`` 需要 +``fess-storage-s3`` 插件。 15.9 特有的迁移工作 ===================