From 2061abd29de9361eca7a6550ae69cf2530df3361 Mon Sep 17 00:00:00 2001 From: Shinsuke Sugaya Date: Thu, 10 Sep 2026 06:29:40 +0900 Subject: [PATCH] docs(15.9): Google Cloud Storage moved to the fess-lib-gcs plugin codelibs/fess#3424 takes the Google Cloud Storage SDK out of the distribution, so gcs:// crawling and the gcs storage type now come from the fess-lib-gcs plugin. install/upgrade.rst gains a sixth incompatible change for 15.9 naming the plugin and both ways to install it, and the count in the section intro moves from five to six. The shipped crawler.file.protocols loses gcs as well, so its documented default becomes file,smb,smb1,ftp,s3 in install/upgrade.rst, config/crawler-advanced.rst (the property table and the example) and config/properties.rst. The pages where GCS is configured get the same short prerequisite note: the GCS Crawler section of config/crawler-advanced.rst, the GCS Settings of admin/storage-guide.rst and the GCS bucket example of admin/fileconfig-guide.rst. The gcs:// entry in the path list and the GCS storage type in admin/general-guide.rst now say the plugin is required. dev/plugin-architecture.rst lists the plugin types Fess derives from the artifact prefix and was missing fess-lib-*, which PluginHelper.ArtifactType has carried since #3418. The new plugin is the first of that type, so the row is added here. The ZIP figure in the Node.js section moves from 218.9 MiB to 204.7 MiB. The 14.2 MiB difference is measured rather than estimated: it is the compressed size of the 30 archive entries the change removes, less the three older jars it puts back. All seven languages. Three pages were left alone rather than translated as part of this change: ko/admin/storage-guide.rst has no storage server configuration section, ko/admin/fileconfig-guide.rst has no S3/GCS crawl examples, and config/properties.rst exists only in English. Each of the 42 files was parsed with docutils before and after the edit, with doctitle_xform=False the way Sphinx parses: no new system messages, no markup left unparsed in the rendered text, and the same number of top-level sections, which is what catches a mis-sized heading underline. --- de/15.9/admin/fileconfig-guide.rst | 7 ++++++- de/15.9/admin/general-guide.rst | 2 +- de/15.9/admin/storage-guide.rst | 5 +++++ de/15.9/config/crawler-advanced.rst | 9 +++++++-- de/15.9/dev/plugin-architecture.rst | 3 +++ de/15.9/install/upgrade.rst | 26 ++++++++++++++++++++++--- en/15.9/admin/fileconfig-guide.rst | 7 ++++++- en/15.9/admin/general-guide.rst | 2 +- en/15.9/admin/storage-guide.rst | 5 +++++ en/15.9/config/crawler-advanced.rst | 9 +++++++-- en/15.9/config/properties.rst | 2 +- en/15.9/dev/plugin-architecture.rst | 3 +++ en/15.9/install/upgrade.rst | 25 +++++++++++++++++++++--- es/15.9/admin/fileconfig-guide.rst | 7 ++++++- es/15.9/admin/general-guide.rst | 2 +- es/15.9/admin/storage-guide.rst | 5 +++++ es/15.9/config/crawler-advanced.rst | 9 +++++++-- es/15.9/dev/plugin-architecture.rst | 3 +++ es/15.9/install/upgrade.rst | 27 +++++++++++++++++++++++--- fr/15.9/admin/fileconfig-guide.rst | 7 ++++++- fr/15.9/admin/general-guide.rst | 2 +- fr/15.9/admin/storage-guide.rst | 5 +++++ fr/15.9/config/crawler-advanced.rst | 9 +++++++-- fr/15.9/dev/plugin-architecture.rst | 3 +++ fr/15.9/install/upgrade.rst | 27 +++++++++++++++++++++++--- ja/15.9/admin/fileconfig-guide.rst | 7 ++++++- ja/15.9/admin/general-guide.rst | 2 +- ja/15.9/admin/storage-guide.rst | 5 +++++ ja/15.9/config/crawler-advanced.rst | 9 +++++++-- ja/15.9/dev/plugin-architecture.rst | 3 +++ ja/15.9/install/upgrade.rst | 25 +++++++++++++++++++++--- ko/15.9/admin/fileconfig-guide.rst | 2 +- ko/15.9/admin/general-guide.rst | 2 +- ko/15.9/config/crawler-advanced.rst | 9 +++++++-- ko/15.9/dev/plugin-architecture.rst | 3 +++ ko/15.9/install/upgrade.rst | 25 +++++++++++++++++++++--- zh-cn/15.9/admin/fileconfig-guide.rst | 6 +++++- zh-cn/15.9/admin/general-guide.rst | 2 +- zh-cn/15.9/admin/storage-guide.rst | 4 ++++ zh-cn/15.9/config/crawler-advanced.rst | 8 ++++++-- zh-cn/15.9/dev/plugin-architecture.rst | 3 +++ zh-cn/15.9/install/upgrade.rst | 23 +++++++++++++++++++--- 42 files changed, 299 insertions(+), 50 deletions(-) diff --git a/de/15.9/admin/fileconfig-guide.rst b/de/15.9/admin/fileconfig-guide.rst index 1dad53ac8..31c0cd6f3 100644 --- a/de/15.9/admin/fileconfig-guide.rst +++ b/de/15.9/admin/fileconfig-guide.rst @@ -14,7 +14,7 @@ Welche Pfade gecrawlt werden, richtet sich nach dem im „Pfad" angegebenen Prot - ``smb1://`` … Windows-Dateiserver/freigegebene Ordner über das ältere SMB1-Protokoll - ``ftp://`` … FTP-Server - ``s3://`` … Amazon-S3-Bucket -- ``gcs://`` … Google-Cloud-Storage-Bucket +- ``gcs://`` … Google-Cloud-Storage-Bucket (erfordert das Plugin ``fess-lib-gcs``) Auf der Datei-Crawl-Konfigurationsseite können Sie Konfigurationen zum Crawlen von Dateien im Dateisystem oder in freigegebenen Netzwerkordnern verwalten. @@ -231,6 +231,11 @@ Für den GCS-Zugriff sind Anmeldeinformationen erforderlich. Fügen Sie Folgende client.projectId=ihre-projekt-id client.credentialsFile=/pfad/zu/service-account.json +.. note:: + Die Unterstützung für Google Cloud Storage kommt aus dem Plugin ``fess-lib-gcs``, das + nicht Teil der Distribution ist. Installieren Sie es über die Seite **System > Plugin** in + der Administrationsoberfläche oder mit ``bin/fess-setup install plugin fess-lib-gcs``. + Verwandte Seiten ================ diff --git a/de/15.9/admin/general-guide.rst b/de/15.9/admin/general-guide.rst index cee5e1b40..85e9aad89 100644 --- a/de/15.9/admin/general-guide.rst +++ b/de/15.9/admin/general-guide.rst @@ -576,7 +576,7 @@ Bei Auswahl von „Automatisch" wird der Speichertyp automatisch anhand des Endp - **Automatisch**: Automatische Erkennung vom Endpunkt - **S3**: Amazon S3 -- **GCS**: Google Cloud Storage +- **GCS**: Google Cloud Storage (erfordert das Plugin ``fess-lib-gcs``) Bucket :::::: diff --git a/de/15.9/admin/storage-guide.rst b/de/15.9/admin/storage-guide.rst index 5a12d07f6..3d53f43ac 100644 --- a/de/15.9/admin/storage-guide.rst +++ b/de/15.9/admin/storage-guide.rst @@ -36,6 +36,11 @@ GCS-Einstellungen - Projekt-ID: Google Cloud-Projekt-ID - Anmeldedaten-Pfad: Pfad zur Dienstkonto-Anmeldedaten-JSON-Datei +.. note:: + Die Unterstützung für Google Cloud Storage kommt aus dem Plugin ``fess-lib-gcs``, das + nicht Teil der Distribution ist. Installieren Sie es über die Seite **System > Plugin** in + der Administrationsoberfläche oder mit ``bin/fess-setup install plugin fess-lib-gcs``. + MinIO (S3-kompatibel) Einstellungen ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ diff --git a/de/15.9/config/crawler-advanced.rst b/de/15.9/config/crawler-advanced.rst index c469fa687..07d4d7b26 100644 --- a/de/15.9/config/crawler-advanced.rst +++ b/de/15.9/config/crawler-advanced.rst @@ -176,7 +176,7 @@ Unterstützte Protokolle - ``http,https`` * - ``crawler.file.protocols`` - Protokolle für Datei-Crawling - - ``file,smb,smb1,ftp,s3,gcs`` + - ``file,smb,smb1,ftp,s3`` * - ``crawler.crawling.data.encoding`` - Kodierung der Crawling-Daten - ``UTF-8`` @@ -187,7 +187,7 @@ Konfigurationsbeispiel :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3,gcs + crawler.file.protocols=file,smb,smb1,ftp,s3 crawler.crawling.data.encoding=UTF-8 Umgebungsvariablen-Parameter @@ -1046,6 +1046,11 @@ Konfigurationsbeispiel GCS-Crawler ----------- +.. note:: + Die Unterstützung für Google Cloud Storage kommt aus dem Plugin ``fess-lib-gcs``, das + nicht Teil der Distribution ist. Installieren Sie es über die Seite **System > Plugin** in + der Administrationsoberfläche oder mit ``bin/fess-setup install plugin fess-lib-gcs``. + Konfiguration für das Crawlen von Google Cloud Storage. Fügen Sie Folgendes zu „Konfigurationsparameter" in den Datei-Crawl-Einstellungen hinzu. diff --git a/de/15.9/dev/plugin-architecture.rst b/de/15.9/dev/plugin-architecture.rst index 3b4cea62f..57f9b4d90 100644 --- a/de/15.9/dev/plugin-architecture.rst +++ b/de/15.9/dev/plugin-architecture.rst @@ -47,6 +47,9 @@ Artefaktnamens (``PluginHelper.ArtifactType``). Die wichtigsten Typen sind: * - Crawler - ``fess-crawler-*`` - Erweiterung des Crawler-Clients + * - Bibliothek + - ``fess-lib-*`` + - Liefert einen Fremdanbieter-Client und seine Abhängigkeiten, die die Distribution nicht enthält Plugin-Struktur =============== diff --git a/de/15.9/install/upgrade.rst b/de/15.9/install/upgrade.rst index dd1a13bda..4186ca700 100644 --- a/de/15.9/install/upgrade.rst +++ b/de/15.9/install/upgrade.rst @@ -470,7 +470,7 @@ Bei Major-Version-Upgrades wird die Neuerstellung des Index empfohlen. Upgrade von 15.8 auf 15.9 ========================= -Wenn Sie von 15.8 aktualisieren, sind die folgenden fünf Änderungen nicht abwärtskompatibel. +Wenn Sie von 15.8 aktualisieren, sind die folgenden sechs Änderungen nicht abwärtskompatibel. Entfernung des eingebetteten OpenSearch --------------------------------------- @@ -507,7 +507,7 @@ Node.js für Playwright wird nicht mehr mitgeliefert --------------------------------------------------- Die Node.js-Programmdateien, die der Playwright-Crawler ausführt, sind nicht mehr Teil der -Distribution. Das ZIP schrumpft dadurch von 438,5 MiB auf 218,9 MiB. +Distribution. Das ZIP schrumpft dadurch von 438,5 MiB auf 204,7 MiB. Wenn eine Crawl-Konfiguration den Playwright-Client benennt, etwa mit ``client.crawlerClients=playwright:http://.*`` in ihren Konfigurationsparametern, installieren @@ -520,6 +520,26 @@ Sie Node.js mit dem folgenden Befehl. ``bin/fess.in.sh`` findet es und setzt Ohne den Playwright-Crawler ist nichts zu tun. +Google Cloud Storage wird als Plugin ausgeliefert +------------------------------------------------- + +Das Google-Cloud-Storage-SDK ist nicht mehr Teil der Distribution; ``gcs://``-Crawls und der +Speichertyp ``gcs`` kommen jetzt aus dem Plugin ``fess-lib-gcs``. Installieren Sie es über +die Seite **System > Plugin** in der Administrationsoberfläche oder mit dem folgenden Befehl. + +:: + + $ bin/fess-setup install plugin fess-lib-gcs + +``gcs`` ist auch aus dem ausgelieferten ``crawler.file.protocols`` verschwunden, das nun +``file,smb,smb1,ftp,s3`` lautet; das Plugin fügt es bei der Installation wieder hinzu. Bis +dahin wird eine Datei-Crawl-Konfiguration, deren Pfad mit ``gcs:`` beginnt, als ungültiges +Protokoll abgewiesen, und die Speicherseite meldet, dass für ``storage.type=gcs`` kein +Client registriert ist. + +Ohne Google Cloud Storage ist nichts zu tun. Amazon S3 und S3-kompatible Speicher wie MinIO +bleiben in der Distribution und sind nicht betroffen. + Die eingebaute Skript-Engine wechselt von Groovy zu JavaScript -------------------------------------------------------------- @@ -551,7 +571,7 @@ Das Crawl-Protokoll ``storage`` wurde entfernt ---------------------------------------------- ``storage`` wird in ``crawler.file.protocols`` nicht mehr akzeptiert; der mitgelieferte Wert -lautet ``file,smb,smb1,ftp,s3,gcs``. Verwenden Sie stattdessen ``s3`` und stellen Sie jede +lautet ``file,smb,smb1,ftp,s3``. Verwenden Sie stattdessen ``s3`` und stellen Sie jede Datei-Crawl-Konfiguration, deren Pfad mit ``storage:`` beginnt, auf einen ``s3:``-Pfad um. Migrationsaufgaben speziell für 15.9 diff --git a/en/15.9/admin/fileconfig-guide.rst b/en/15.9/admin/fileconfig-guide.rst index cda9f785c..dc5850525 100644 --- a/en/15.9/admin/fileconfig-guide.rst +++ b/en/15.9/admin/fileconfig-guide.rst @@ -16,7 +16,7 @@ Crawl targets are determined by the protocol specified in the path: - ``smb1://`` … Windows file server / shared folder over the legacy SMB1 protocol - ``ftp://`` … FTP server - ``s3://`` … Amazon S3 bucket -- ``gcs://`` … Google Cloud Storage bucket +- ``gcs://`` … Google Cloud Storage bucket (requires the ``fess-lib-gcs`` plugin) Configuration Management ======================== @@ -230,6 +230,11 @@ GCS access requires authentication credentials. Add the following to "Configurat client.projectId=your-project-id client.credentialsFile=/path/to/service-account.json +.. note:: + Google Cloud Storage support comes from the ``fess-lib-gcs`` plugin, which is not part of + the distribution. Install it from the System > Plugin page in the administration screen, + or with ``bin/fess-setup install plugin fess-lib-gcs``. + Related Pages ============= diff --git a/en/15.9/admin/general-guide.rst b/en/15.9/admin/general-guide.rst index 111bb0c98..703acc85a 100644 --- a/en/15.9/admin/general-guide.rst +++ b/en/15.9/admin/general-guide.rst @@ -576,7 +576,7 @@ When "Auto" is selected, the storage type is automatically determined from the e - **Auto**: Auto-detect from endpoint - **S3**: Amazon S3 -- **GCS**: Google Cloud Storage +- **GCS**: Google Cloud Storage (requires the ``fess-lib-gcs`` plugin) Bucket :::::: diff --git a/en/15.9/admin/storage-guide.rst b/en/15.9/admin/storage-guide.rst index c98de3692..b4ad9a960 100644 --- a/en/15.9/admin/storage-guide.rst +++ b/en/15.9/admin/storage-guide.rst @@ -36,6 +36,11 @@ GCS Settings - Project ID: Google Cloud project ID - Credentials Path: Service account credentials JSON file path +.. note:: + Google Cloud Storage support comes from the ``fess-lib-gcs`` plugin, which is not part of + the distribution. Install it from the System > Plugin page in the administration screen, + or with ``bin/fess-setup install plugin fess-lib-gcs``. + MinIO (S3-compatible) Settings ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ diff --git a/en/15.9/config/crawler-advanced.rst b/en/15.9/config/crawler-advanced.rst index cc352b41c..20cfb341b 100644 --- a/en/15.9/config/crawler-advanced.rst +++ b/en/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Supported Protocols - ``http,https`` * - ``crawler.file.protocols`` - File crawl protocols - - ``file,smb,smb1,ftp,s3,gcs`` + - ``file,smb,smb1,ftp,s3`` * - ``crawler.crawling.data.encoding`` - Crawling data encoding - ``UTF-8`` @@ -188,7 +188,7 @@ Configuration Example :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3,gcs + crawler.file.protocols=file,smb,smb1,ftp,s3 crawler.crawling.data.encoding=UTF-8 Environment Variable Parameters @@ -1048,6 +1048,11 @@ Configuration Example GCS Crawler ----------- +.. note:: + Google Cloud Storage support comes from the ``fess-lib-gcs`` plugin, which is not part of + the distribution. Install it from the System > Plugin page in the administration screen, + or with ``bin/fess-setup install plugin fess-lib-gcs``. + Configuration for crawling Google Cloud Storage. Add the following to "Configuration Parameters" in the file crawl settings. diff --git a/en/15.9/config/properties.rst b/en/15.9/config/properties.rst index fb95579bb..9366de9b1 100644 --- a/en/15.9/config/properties.rst +++ b/en/15.9/config/properties.rst @@ -401,7 +401,7 @@ Index - http,http * - crawler.file.protocols - The protocols for file crawling. - - file,smb,smb1,ftp,s3,gcs + - file,smb,smb1,ftp,s3 * - crawler.data.env.param.key.pattern - The regex pattern for Fess environment parameter keys. - ``^FESS_ENV_.*`` diff --git a/en/15.9/dev/plugin-architecture.rst b/en/15.9/dev/plugin-architecture.rst index 36d12586a..aebda8ca6 100644 --- a/en/15.9/dev/plugin-architecture.rst +++ b/en/15.9/dev/plugin-architecture.rst @@ -47,6 +47,9 @@ Plugin Types * - Crawler - ``fess-crawler-*`` - Extends crawler clients + * - Library + - ``fess-lib-*`` + - Ships a third-party client and its dependencies that the distribution does not carry Plugin Structure ================= diff --git a/en/15.9/install/upgrade.rst b/en/15.9/install/upgrade.rst index 71d19307e..c19346ce4 100644 --- a/en/15.9/install/upgrade.rst +++ b/en/15.9/install/upgrade.rst @@ -465,7 +465,7 @@ For major version upgrades, it is recommended to recreate the index. Upgrading from 15.8 to 15.9 =========================== -If you are upgrading from 15.8, the following five changes are not backward compatible. +If you are upgrading from 15.8, the following six changes are not backward compatible. Removal of the embedded OpenSearch ---------------------------------- @@ -500,7 +500,7 @@ Node.js for Playwright is no longer bundled ------------------------------------------- The Node.js executables that the Playwright crawler runs are no longer part of the -distribution. The ZIP drops from 438.5 MiB to 218.9 MiB as a result. +distribution. The ZIP drops from 438.5 MiB to 204.7 MiB as a result. If a crawl configuration names the Playwright client, for example with ``client.crawlerClients=playwright:http://.*`` in its configuration parameters, install Node.js @@ -512,6 +512,25 @@ with the command below. ``bin/fess.in.sh`` discovers it and sets ``PLAYWRIGHT_NO Nothing is needed if you do not use the Playwright crawler. +Google Cloud Storage Moved to a Plugin +-------------------------------------- + +The Google Cloud Storage SDK is no longer part of the distribution, so ``gcs://`` crawling +and the ``gcs`` storage type now come from the ``fess-lib-gcs`` plugin. Install it from the +System > Plugin page in the administration screen, or with the command below. + +:: + + $ bin/fess-setup install plugin fess-lib-gcs + +``gcs`` also left the shipped ``crawler.file.protocols``, which is now +``file,smb,smb1,ftp,s3``; the plugin adds it back when it is installed. Until then a file +crawl configuration whose path begins with ``gcs:`` is rejected as an invalid protocol, and +the storage page reports that no client is registered for ``storage.type=gcs``. + +Nothing is needed if you do not use Google Cloud Storage. Amazon S3 and S3-compatible +storage such as MinIO stay in the distribution and are unaffected. + The Built-in Script Engine Changed from Groovy to JavaScript ------------------------------------------------------------ @@ -541,7 +560,7 @@ The ``storage`` Crawl Protocol Was Removed ------------------------------------------ ``storage`` is no longer accepted in ``crawler.file.protocols``; the shipped value is -``file,smb,smb1,ftp,s3,gcs``. Use ``s3`` instead, and change any file crawling configuration whose +``file,smb,smb1,ftp,s3``. Use ``s3`` instead, and change any file crawling configuration whose path begins with ``storage:`` to an ``s3:`` path. 15.9-Specific Migration Tasks diff --git a/es/15.9/admin/fileconfig-guide.rst b/es/15.9/admin/fileconfig-guide.rst index b3d1e551c..595178741 100644 --- a/es/15.9/admin/fileconfig-guide.rst +++ b/es/15.9/admin/fileconfig-guide.rst @@ -16,7 +16,7 @@ El objetivo del rastreo se determina según el protocolo especificado en la «Ru - ``smb1://`` … servidor de archivos o carpeta compartida de Windows mediante el antiguo protocolo SMB1 - ``ftp://`` … servidor FTP - ``s3://`` … bucket de Amazon S3 -- ``gcs://`` … bucket de Google Cloud Storage +- ``gcs://`` … bucket de Google Cloud Storage (requiere el plugin ``fess-lib-gcs``) Método de gestión ================== @@ -231,6 +231,11 @@ El acceso a GCS requiere credenciales de autenticación. Agregue lo siguiente en client.projectId=su-id-de-proyecto client.credentialsFile=/ruta/a/service-account.json +.. note:: + La compatibilidad con Google Cloud Storage proviene del plugin ``fess-lib-gcs``, que no + forma parte de la distribución. Instálelo desde la página **Sistema > Plugin** de la + pantalla de administración o con ``bin/fess-setup install plugin fess-lib-gcs``. + Páginas Relacionadas ==================== diff --git a/es/15.9/admin/general-guide.rst b/es/15.9/admin/general-guide.rst index a2db480e7..a356390cd 100644 --- a/es/15.9/admin/general-guide.rst +++ b/es/15.9/admin/general-guide.rst @@ -576,7 +576,7 @@ Cuando se selecciona "Automático", el tipo de almacenamiento se determina autom - **Automático**: Detección automática desde el punto final - **S3**: Amazon S3 -- **GCS**: Google Cloud Storage +- **GCS**: Google Cloud Storage (requiere el plugin ``fess-lib-gcs``) Cubo :::: diff --git a/es/15.9/admin/storage-guide.rst b/es/15.9/admin/storage-guide.rst index ca45976f3..049c3d7b3 100644 --- a/es/15.9/admin/storage-guide.rst +++ b/es/15.9/admin/storage-guide.rst @@ -36,6 +36,11 @@ Configuración de GCS - ID de proyecto: ID del proyecto de Google Cloud - Ruta de credenciales: Ruta del archivo JSON de credenciales de la cuenta de servicio +.. note:: + La compatibilidad con Google Cloud Storage proviene del plugin ``fess-lib-gcs``, que no + forma parte de la distribución. Instálelo desde la página **Sistema > Plugin** de la + pantalla de administración o con ``bin/fess-setup install plugin fess-lib-gcs``. + Configuración de MinIO (compatible con S3) ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ diff --git a/es/15.9/config/crawler-advanced.rst b/es/15.9/config/crawler-advanced.rst index 88367d8b6..583e85670 100644 --- a/es/15.9/config/crawler-advanced.rst +++ b/es/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Protocolos Compatibles - ``http,https`` * - ``crawler.file.protocols`` - Protocolos para rastreo de archivos - - ``file,smb,smb1,ftp,s3,gcs`` + - ``file,smb,smb1,ftp,s3`` * - ``crawler.crawling.data.encoding`` - Codificación de datos de rastreo - ``UTF-8`` @@ -188,7 +188,7 @@ Ejemplo de Configuración :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3,gcs + crawler.file.protocols=file,smb,smb1,ftp,s3 crawler.crawling.data.encoding=UTF-8 Parámetros de Variables de Entorno @@ -1048,6 +1048,11 @@ Ejemplo de Configuración Rastreador GCS -------------- +.. note:: + La compatibilidad con Google Cloud Storage proviene del plugin ``fess-lib-gcs``, que no + forma parte de la distribución. Instálelo desde la página **Sistema > Plugin** de la + pantalla de administración o con ``bin/fess-setup install plugin fess-lib-gcs``. + Configuración para rastrear Google Cloud Storage. Escriba lo siguiente en "Parámetros de configuración" de la configuración de rastreo de archivos. diff --git a/es/15.9/dev/plugin-architecture.rst b/es/15.9/dev/plugin-architecture.rst index 1ea9bf988..54c990578 100644 --- a/es/15.9/dev/plugin-architecture.rst +++ b/es/15.9/dev/plugin-architecture.rst @@ -49,6 +49,9 @@ siguientes: * - Rastreador - ``fess-crawler-*`` - Ampliación de clientes de rastreador + * - Biblioteca + - ``fess-lib-*`` + - Aporta un cliente de terceros y sus dependencias que la distribución no incluye Estructura del Plugin ====================== diff --git a/es/15.9/install/upgrade.rst b/es/15.9/install/upgrade.rst index 5d8e457e2..8d0e38093 100644 --- a/es/15.9/install/upgrade.rst +++ b/es/15.9/install/upgrade.rst @@ -470,7 +470,7 @@ Para actualizaciones de versión principal, se recomienda recrear el índice. Actualización de 15.8 a 15.9 ============================ -Si actualiza desde 15.8, los cinco cambios siguientes no son retrocompatibles. +Si actualiza desde 15.8, los seis cambios siguientes no son retrocompatibles. Eliminación del OpenSearch integrado ------------------------------------ @@ -507,7 +507,7 @@ Node.js para Playwright ya no se incluye ---------------------------------------- Los ejecutables de Node.js que utiliza el rastreador de Playwright ya no forman parte de la -distribución. Como consecuencia, el ZIP pasa de 438,5 MiB a 218,9 MiB. +distribución. Como consecuencia, el ZIP pasa de 438,5 MiB a 204,7 MiB. Si alguna configuración de rastreo indica el cliente de Playwright, por ejemplo con ``client.crawlerClients=playwright:http://.*`` en sus parámetros de configuración, instale @@ -520,6 +520,27 @@ Node.js con la orden siguiente. ``bin/fess.in.sh`` lo detecta y establece Si no utiliza el rastreador de Playwright, no hay nada que hacer. +Google Cloud Storage pasa a un plugin +------------------------------------- + +El SDK de Google Cloud Storage ya no forma parte de la distribución, por lo que el rastreo de +``gcs://`` y el tipo de almacenamiento ``gcs`` provienen ahora del plugin ``fess-lib-gcs``. +Instálelo desde la página **Sistema > Plugin** de la pantalla de administración o con la +orden siguiente. + +:: + + $ bin/fess-setup install plugin fess-lib-gcs + +``gcs`` también ha salido del valor distribuido de ``crawler.file.protocols``, que ahora es +``file,smb,smb1,ftp,s3``; el plugin lo vuelve a añadir al instalarse. Hasta entonces, una +configuración de rastreo de archivos cuya ruta empieza por ``gcs:`` se rechaza como protocolo +no válido, y la página de almacenamiento informa de que no hay ningún cliente registrado para +``storage.type=gcs``. + +Si no utiliza Google Cloud Storage, no hay nada que hacer. Amazon S3 y el almacenamiento +compatible con S3, como MinIO, siguen en la distribución y no se ven afectados. + El motor de scripting integrado pasa de Groovy a JavaScript ----------------------------------------------------------- @@ -550,7 +571,7 @@ El protocolo de rastreo ``storage`` se ha eliminado --------------------------------------------------- ``storage`` ya no se admite en ``crawler.file.protocols``; el valor incluido es -``file,smb,smb1,ftp,s3,gcs``. Utilice ``s3`` en su lugar y cambie a una ruta ``s3:`` cualquier +``file,smb,smb1,ftp,s3``. Utilice ``s3`` en su lugar y cambie a una ruta ``s3:`` cualquier configuración de rastreo de archivos cuya ruta empiece por ``storage:``. Migración Específica de 15.9 diff --git a/fr/15.9/admin/fileconfig-guide.rst b/fr/15.9/admin/fileconfig-guide.rst index 27eb5a5bd..4115d145a 100644 --- a/fr/15.9/admin/fileconfig-guide.rst +++ b/fr/15.9/admin/fileconfig-guide.rst @@ -16,7 +16,7 @@ Le crawl cible est déterminé par le protocole spécifié dans le « chemin » - ``smb1://`` … serveur de fichiers/dossier partagé Windows utilisant l'ancien protocole SMB1 - ``ftp://`` … serveur FTP - ``s3://`` … bucket Amazon S3 -- ``gcs://`` … bucket Google Cloud Storage +- ``gcs://`` … bucket Google Cloud Storage (nécessite le plugin ``fess-lib-gcs``) Gestion ======= @@ -231,6 +231,11 @@ L'accès à GCS nécessite des identifiants d'authentification. Ajoutez ce qui s client.projectId=votre-id-projet client.credentialsFile=/chemin/vers/service-account.json +.. note:: + La prise en charge de Google Cloud Storage provient du plugin ``fess-lib-gcs``, qui ne + fait pas partie de la distribution. Installez-le depuis la page **Système > Plugin** de + l'écran d'administration ou avec ``bin/fess-setup install plugin fess-lib-gcs``. + Pages associées =============== diff --git a/fr/15.9/admin/general-guide.rst b/fr/15.9/admin/general-guide.rst index 1b8cbc848..4ec00e419 100644 --- a/fr/15.9/admin/general-guide.rst +++ b/fr/15.9/admin/general-guide.rst @@ -576,7 +576,7 @@ Lorsque « Automatique » est sélectionné, le type de stockage est automatique - **Automatique** : Détection automatique à partir du point de terminaison - **S3** : Amazon S3 -- **GCS** : Google Cloud Storage +- **GCS** : Google Cloud Storage (nécessite le plugin ``fess-lib-gcs``) Compartiment :::::::::::: diff --git a/fr/15.9/admin/storage-guide.rst b/fr/15.9/admin/storage-guide.rst index 3c588afbf..5bba225d6 100644 --- a/fr/15.9/admin/storage-guide.rst +++ b/fr/15.9/admin/storage-guide.rst @@ -36,6 +36,11 @@ Paramètres GCS - ID de projet : ID de projet Google Cloud - Chemin des identifiants : Chemin du fichier JSON d'identifiants du compte de service +.. note:: + La prise en charge de Google Cloud Storage provient du plugin ``fess-lib-gcs``, qui ne + fait pas partie de la distribution. Installez-le depuis la page **Système > Plugin** de + l'écran d'administration ou avec ``bin/fess-setup install plugin fess-lib-gcs``. + Paramètres MinIO (compatible S3) ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ diff --git a/fr/15.9/config/crawler-advanced.rst b/fr/15.9/config/crawler-advanced.rst index d41827d8f..14d272c65 100644 --- a/fr/15.9/config/crawler-advanced.rst +++ b/fr/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ Protocoles supportés - ``http,https`` * - ``crawler.file.protocols`` - Protocoles d'indexation de fichiers - - ``file,smb,smb1,ftp,s3,gcs`` + - ``file,smb,smb1,ftp,s3`` * - ``crawler.crawling.data.encoding`` - Encodage des données de crawl - ``UTF-8`` @@ -188,7 +188,7 @@ Exemple de configuration :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3,gcs + crawler.file.protocols=file,smb,smb1,ftp,s3 crawler.crawling.data.encoding=UTF-8 Paramètres de variables d'environnement @@ -1048,6 +1048,11 @@ Exemple de configuration Crawler GCS ----------- +.. note:: + La prise en charge de Google Cloud Storage provient du plugin ``fess-lib-gcs``, qui ne + fait pas partie de la distribution. Installez-le depuis la page **Système > Plugin** de + l'écran d'administration ou avec ``bin/fess-setup install plugin fess-lib-gcs``. + Configuration pour crawler Google Cloud Storage. Ajoutez ce qui suit aux « Paramètres de configuration » dans les paramètres de crawl de fichiers. diff --git a/fr/15.9/dev/plugin-architecture.rst b/fr/15.9/dev/plugin-architecture.rst index 414f18202..7280136e0 100644 --- a/fr/15.9/dev/plugin-architecture.rst +++ b/fr/15.9/dev/plugin-architecture.rst @@ -49,6 +49,9 @@ suivants : * - Crawler - ``fess-crawler-*`` - Extension des clients du crawler + * - Bibliothèque + - ``fess-lib-*`` + - Fournit un client tiers et ses dépendances que la distribution ne contient pas Structure d'un plugin ====================== diff --git a/fr/15.9/install/upgrade.rst b/fr/15.9/install/upgrade.rst index 5b712498a..fec13447c 100644 --- a/fr/15.9/install/upgrade.rst +++ b/fr/15.9/install/upgrade.rst @@ -473,7 +473,7 @@ En cas de mise à niveau majeure, il est recommandé de recréer l'index. Mise à niveau de 15.8 vers 15.9 =============================== -Si vous effectuez une mise à niveau depuis la 15.8, les cinq changements suivants ne sont pas +Si vous effectuez une mise à niveau depuis la 15.8, les six changements suivants ne sont pas rétrocompatibles. Suppression de l'OpenSearch intégré @@ -512,7 +512,7 @@ Node.js pour Playwright n’est plus fourni ----------------------------------------- Les exécutables Node.js utilisés par le robot Playwright ne font plus partie de la distribution. -L'archive ZIP passe ainsi de 438,5 Mio à 218,9 Mio. +L'archive ZIP passe ainsi de 438,5 Mio à 204,7 Mio. Si une configuration d'exploration désigne le client Playwright, par exemple avec ``client.crawlerClients=playwright:http://.*`` dans ses paramètres, installez Node.js avec la @@ -524,6 +524,27 @@ commande ci-dessous. ``bin/fess.in.sh`` le détecte et définit ``PLAYWRIGHT_NOD Rien à faire si vous n'utilisez pas le robot Playwright. +Google Cloud Storage passe dans un plugin +----------------------------------------- + +Le SDK Google Cloud Storage ne fait plus partie de la distribution : l'exploration ``gcs://`` +et le type de stockage ``gcs`` proviennent désormais du plugin ``fess-lib-gcs``. +Installez-le depuis la page **Système > Plugin** de l'écran d'administration ou avec la +commande ci-dessous. + +:: + + $ bin/fess-setup install plugin fess-lib-gcs + +``gcs`` a également quitté la valeur fournie de ``crawler.file.protocols``, qui est +maintenant ``file,smb,smb1,ftp,s3`` ; le plugin la rétablit lors de son installation. +Jusque-là, une configuration d'exploration de fichiers dont le chemin commence par ``gcs:`` +est rejetée comme protocole invalide, et la page de stockage signale qu'aucun client n'est +enregistré pour ``storage.type=gcs``. + +Rien à faire si vous n'utilisez pas Google Cloud Storage. Amazon S3 et les stockages +compatibles S3 tels que MinIO restent dans la distribution et ne sont pas concernés. + Le moteur de script intégré passe de Groovy à JavaScript -------------------------------------------------------- @@ -554,7 +575,7 @@ Le protocole de crawl ``storage`` a été supprimé ------------------------------------------------ ``storage`` n'est plus accepté dans ``crawler.file.protocols`` ; la valeur fournie est -``file,smb,smb1,ftp,s3,gcs``. Utilisez ``s3`` à la place et remplacez par un chemin ``s3:`` toute +``file,smb,smb1,ftp,s3``. Utilisez ``s3`` à la place et remplacez par un chemin ``s3:`` toute configuration de crawl de fichiers dont le chemin commence par ``storage:``. Migrations spécifiques à la 15.9 diff --git a/ja/15.9/admin/fileconfig-guide.rst b/ja/15.9/admin/fileconfig-guide.rst index 1231177a6..8595ccf0a 100644 --- a/ja/15.9/admin/fileconfig-guide.rst +++ b/ja/15.9/admin/fileconfig-guide.rst @@ -14,7 +14,7 @@ - ``smb1://`` … 旧来の SMB1 プロトコルを使用する Windows ファイルサーバー／共有フォルダー - ``ftp://`` … FTP サーバー - ``s3://`` … Amazon S3 バケット -- ``gcs://`` … Google Cloud Storage バケット +- ``gcs://`` … Google Cloud Storage バケット（ ``fess-lib-gcs`` プラグインが必要） 管理方法 ====== @@ -229,6 +229,11 @@ GCSへのアクセスには認証情報が必要です。「設定パラメー client.projectId=your-project-id client.credentialsFile=/path/to/service-account.json +.. note:: + Google Cloud Storage への対応は ``fess-lib-gcs`` プラグインから提供されます。配布物には + 同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-lib-gcs`` で導入してください。 + 関連ページ ========== diff --git a/ja/15.9/admin/general-guide.rst b/ja/15.9/admin/general-guide.rst index d6df2a16b..41116e39c 100644 --- a/ja/15.9/admin/general-guide.rst +++ b/ja/15.9/admin/general-guide.rst @@ -576,7 +576,7 @@ ERROR や WARN レベルのログイベントを自動的に捕捉して通知 - **自動**: エンドポイントから自動判定 - **S3**: Amazon S3 -- **GCS**: Google Cloud Storage +- **GCS**: Google Cloud Storage（ ``fess-lib-gcs`` プラグインが必要） バケット :::::: diff --git a/ja/15.9/admin/storage-guide.rst b/ja/15.9/admin/storage-guide.rst index c6cc9aa09..912106925 100644 --- a/ja/15.9/admin/storage-guide.rst +++ b/ja/15.9/admin/storage-guide.rst @@ -36,6 +36,11 @@ GCSの設定 - プロジェクトID: Google CloudプロジェクトID - 認証情報パス: サービスアカウント認証情報JSONファイルパス +.. note:: + Google Cloud Storage への対応は ``fess-lib-gcs`` プラグインから提供されます。配布物には + 同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-lib-gcs`` で導入してください。 + MinIO（S3互換）の設定 ~~~~~~~~~~~~~~~~~~ diff --git a/ja/15.9/config/crawler-advanced.rst b/ja/15.9/config/crawler-advanced.rst index 8eb61f855..958ad8e3d 100644 --- a/ja/15.9/config/crawler-advanced.rst +++ b/ja/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTPクローラーのスレッドプール設定です。 - ``http,https`` * - ``crawler.file.protocols`` - ファイルクロールのプロトコル - - ``file,smb,smb1,ftp,s3,gcs`` + - ``file,smb,smb1,ftp,s3`` * - ``crawler.crawling.data.encoding`` - クロールデータのエンコーディング - ``UTF-8`` @@ -188,7 +188,7 @@ HTTPクローラーのスレッドプール設定です。 :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3,gcs + crawler.file.protocols=file,smb,smb1,ftp,s3 crawler.crawling.data.encoding=UTF-8 環境変数パラメーター @@ -1051,6 +1051,11 @@ S3およびS3互換ストレージ（MinIO等）をクロールするための GCSクローラー ------------- +.. note:: + Google Cloud Storage への対応は ``fess-lib-gcs`` プラグインから提供されます。配布物には + 同梱されていないため、管理画面の「システム > プラグイン」ページ、または + ``bin/fess-setup install plugin fess-lib-gcs`` で導入してください。 + Google Cloud Storageをクロールするための設定です。 ファイルクロール設定の「設定パラメーター」に以下を記述します。 diff --git a/ja/15.9/dev/plugin-architecture.rst b/ja/15.9/dev/plugin-architecture.rst index bb6c9517d..6276aeec8 100644 --- a/ja/15.9/dev/plugin-architecture.rst +++ b/ja/15.9/dev/plugin-architecture.rst @@ -47,6 +47,9 @@ DI コンテナ(Lasta Di)によってコンポーネントが読み込まれ、 * - クローラー - ``fess-crawler-*`` - クローラークライアントの拡張 + * - ライブラリ + - ``fess-lib-*`` + - 配布物に同梱しないサードパーティのクライアントとその依存を提供 プラグイン構造 ============== diff --git a/ja/15.9/install/upgrade.rst b/ja/15.9/install/upgrade.rst index 8b0358839..a503e44fe 100644 --- a/ja/15.9/install/upgrade.rst +++ b/ja/15.9/install/upgrade.rst @@ -461,7 +461,7 @@ Docker 版:: 15.8 から 15.9 へのアップグレード ================================= -15.8 からアップグレードする場合、以下の 5 点が互換性のない変更です。 +15.8 からアップグレードする場合、以下の 6 点が互換性のない変更です。 組み込み OpenSearch の廃止 -------------------------- @@ -497,7 +497,7 @@ Playwright 用 Node.js の同梱を終了 ---------------------------------- Playwright クローラが使用する Node.js の実行ファイルは、配布物に含まれなくなりました。 -これにより ZIP は 438.5 MiB から 218.9 MiB になっています。 +これにより ZIP は 438.5 MiB から 204.7 MiB になっています。 クロール設定の設定パラメータで ``client.crawlerClients=playwright:http://.*`` のように Playwright クライアントを指定している場合は、次のコマンドで Node.js を導入してください。 @@ -509,6 +509,25 @@ Playwright クライアントを指定している場合は、次のコマンド Playwright クローラを使用していない場合、対応は不要です。 +Google Cloud Storage をプラグインへ移動 +--------------------------------------- + +Google Cloud Storage の SDK は配布物に含まれなくなり、 ``gcs://`` のクロールと ``gcs`` +ストレージタイプは ``fess-lib-gcs`` プラグインから提供されます。管理画面の +「システム > プラグイン」ページ、または次のコマンドで導入してください。 + +:: + + $ bin/fess-setup install plugin fess-lib-gcs + +``crawler.file.protocols`` の既定値からも ``gcs`` が外れ、 ``file,smb,smb1,ftp,s3`` に +なりました。プラグインを導入すると再び追加されます。導入前は、パスが ``gcs:`` で始まる +ファイルクロール設定は不正なプロトコルとして拒否され、ストレージ画面は +``storage.type=gcs`` に対応するクライアントが登録されていないと報告します。 + +Google Cloud Storage を使用していない場合、対応は不要です。Amazon S3 と MinIO などの +S3 互換ストレージは配布物に残っており、影響はありません。 + 標準のスクリプトエンジンが Groovy から JavaScript に変更 -------------------------------------------------------- @@ -539,7 +558,7 @@ JavaScript エンジン向けに書き換えてください。JavaScript では ------------------------------------- ``crawler.file.protocols`` で ``storage`` は指定できなくなりました。同梱の値は -``file,smb,smb1,ftp,s3,gcs`` です。代わりに ``s3`` を使用し、 ``storage:`` で始まるパスを +``file,smb,smb1,ftp,s3`` です。代わりに ``s3`` を使用し、 ``storage:`` で始まるパスを 指定しているファイルクロール設定は ``s3:`` のパスへ変更してください。 15.9 固有の移行作業 diff --git a/ko/15.9/admin/fileconfig-guide.rst b/ko/15.9/admin/fileconfig-guide.rst index bb0f266fd..a4f8d77d0 100644 --- a/ko/15.9/admin/fileconfig-guide.rst +++ b/ko/15.9/admin/fileconfig-guide.rst @@ -16,7 +16,7 @@ - ``smb1://`` … 예전 SMB1 프로토콜을 사용하는 Windows 파일 서버/공유 폴더 - ``ftp://`` … FTP 서버 - ``s3://`` … Amazon S3 버킷 -- ``gcs://`` … Google Cloud Storage 버킷 +- ``gcs://`` … Google Cloud Storage 버킷（ ``fess-lib-gcs`` 플러그인 필요） 관리 방법 ====== diff --git a/ko/15.9/admin/general-guide.rst b/ko/15.9/admin/general-guide.rst index 43cbe1544..63446db05 100644 --- a/ko/15.9/admin/general-guide.rst +++ b/ko/15.9/admin/general-guide.rst @@ -576,7 +576,7 @@ ERROR 및 WARN 레벨의 로그 이벤트를 자동으로 캡처하여 알림을 - **자동**: 엔드포인트에서 자동 판정 - **S3**: Amazon S3 -- **GCS**: Google Cloud Storage +- **GCS**: Google Cloud Storage（ ``fess-lib-gcs`` 플러그인 필요） 버킷 :::::: diff --git a/ko/15.9/config/crawler-advanced.rst b/ko/15.9/config/crawler-advanced.rst index dcb29ea08..1b1999abf 100644 --- a/ko/15.9/config/crawler-advanced.rst +++ b/ko/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTP 크롤러의 스레드 풀 설정입니다. - ``http,https`` * - ``crawler.file.protocols`` - 파일 크롤링 프로토콜 - - ``file,smb,smb1,ftp,s3,gcs`` + - ``file,smb,smb1,ftp,s3`` * - ``crawler.crawling.data.encoding`` - 크롤링 데이터 인코딩 - ``UTF-8`` @@ -188,7 +188,7 @@ HTTP 크롤러의 스레드 풀 설정입니다. :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3,gcs + crawler.file.protocols=file,smb,smb1,ftp,s3 crawler.crawling.data.encoding=UTF-8 환경 변수 파라미터 @@ -1049,6 +1049,11 @@ S3 및 S3 호환 스토리지(MinIO 등)를 크롤링하기 위한 설정입니 GCS 크롤러 ------------- +.. note:: + Google Cloud Storage 지원은 ``fess-lib-gcs`` 플러그인에서 제공됩니다. 배포물에 포함되어 + 있지 않으므로 관리 화면의 「시스템 > 플러그인」 페이지 또는 + ``bin/fess-setup install plugin fess-lib-gcs`` 로 설치하십시오. + Google Cloud Storage를 크롤링하기 위한 설정입니다. 파일 크롤 설정의 "설정 파라미터"에 다음을 기술합니다. diff --git a/ko/15.9/dev/plugin-architecture.rst b/ko/15.9/dev/plugin-architecture.rst index f1cc089f1..1b0a66947 100644 --- a/ko/15.9/dev/plugin-architecture.rst +++ b/ko/15.9/dev/plugin-architecture.rst @@ -47,6 +47,9 @@ * - 크롤러 - ``fess-crawler-*`` - 크롤러 클라이언트 확장 + * - 라이브러리 + - ``fess-lib-*`` + - 배포물에 포함되지 않는 서드파티 클라이언트와 그 의존을 제공 플러그인 구조 ============== diff --git a/ko/15.9/install/upgrade.rst b/ko/15.9/install/upgrade.rst index 000f02268..3ed0364ef 100644 --- a/ko/15.9/install/upgrade.rst +++ b/ko/15.9/install/upgrade.rst @@ -461,7 +461,7 @@ Docker 버전:: 15.8에서 15.9로 업그레이드 ========================== -15.8에서 업그레이드하는 경우 다음 다섯 가지가 하위 호환되지 않는 변경입니다. +15.8에서 업그레이드하는 경우 다음 여섯 가지가 하위 호환되지 않는 변경입니다. 내장 OpenSearch 폐지 -------------------- @@ -496,7 +496,7 @@ Playwright 용 Node.js 동봉 종료 ------------------------------- Playwright 크롤러가 사용하는 Node.js 실행 파일은 더 이상 배포물에 포함되지 않습니다. -이에 따라 ZIP 은 438.5 MiB 에서 218.9 MiB 가 되었습니다. +이에 따라 ZIP 은 438.5 MiB 에서 204.7 MiB 가 되었습니다. 크롤링 설정의 설정 파라미터에서 ``client.crawlerClients=playwright:http://.*`` 와 같이 Playwright 클라이언트를 지정한 경우에는 아래 명령으로 Node.js 를 설치하십시오. @@ -508,6 +508,25 @@ Playwright 클라이언트를 지정한 경우에는 아래 명령으로 Node.js Playwright 크롤러를 사용하지 않는 경우에는 대응이 필요 없습니다. +Google Cloud Storage 를 플러그인으로 이동 +----------------------------------------- + +Google Cloud Storage 의 SDK 는 더 이상 배포물에 포함되지 않으며, ``gcs://`` 크롤링과 +``gcs`` 스토리지 타입은 ``fess-lib-gcs`` 플러그인에서 제공됩니다. 관리 화면의 +「시스템 > 플러그인」 페이지 또는 아래 명령으로 설치하십시오. + +:: + + $ bin/fess-setup install plugin fess-lib-gcs + +``crawler.file.protocols`` 의 기본값에서도 ``gcs`` 가 빠져 ``file,smb,smb1,ftp,s3`` 가 +되었습니다. 플러그인을 설치하면 다시 추가됩니다. 설치 전에는 경로가 ``gcs:`` 로 시작하는 +파일 크롤링 설정이 잘못된 프로토콜로 거부되고, 스토리지 화면은 ``storage.type=gcs`` 에 +등록된 클라이언트가 없다고 보고합니다. + +Google Cloud Storage 를 사용하지 않는 경우에는 대응이 필요 없습니다. Amazon S3 와 MinIO +등 S3 호환 스토리지는 배포물에 그대로 남아 있어 영향이 없습니다. + 내장 스크립트 엔진이 Groovy에서 JavaScript로 변경 ------------------------------------------------- @@ -537,7 +556,7 @@ JavaScript의 배열 리터럴은 Java의 ``String[]`` 로 자동 변환되므 ------------------------------ ``crawler.file.protocols`` 에서 ``storage`` 는 더 이상 사용할 수 없으며, 기본 제공 값은 -``file,smb,smb1,ftp,s3,gcs`` 입니다. 대신 ``s3`` 를 사용하고, 경로가 ``storage:`` 로 시작하는 +``file,smb,smb1,ftp,s3`` 입니다. 대신 ``s3`` 를 사용하고, 경로가 ``storage:`` 로 시작하는 파일 크롤 설정은 ``s3:`` 경로로 변경하십시오. 15.9 전용 마이그레이션 작업 diff --git a/zh-cn/15.9/admin/fileconfig-guide.rst b/zh-cn/15.9/admin/fileconfig-guide.rst index f14094b8f..ab3f12620 100644 --- a/zh-cn/15.9/admin/fileconfig-guide.rst +++ b/zh-cn/15.9/admin/fileconfig-guide.rst @@ -16,7 +16,7 @@ - ``smb1://`` … 使用旧版 SMB1 协议的 Windows 文件服务器/共享文件夹 - ``ftp://`` … FTP 服务器 - ``s3://`` … Amazon S3 存储桶 -- ``gcs://`` … Google Cloud Storage 存储桶 +- ``gcs://`` … Google Cloud Storage 存储桶（需要 ``fess-lib-gcs`` 插件） 管理方式 ====== @@ -231,6 +231,10 @@ client.projectId=您的项目ID client.credentialsFile=/path/to/service-account.json +.. note:: + Google Cloud Storage 支持由 ``fess-lib-gcs`` 插件提供，该插件不随发行包分发。请从管理 + 界面的「系统 > 插件」页面安装，或执行 ``bin/fess-setup install plugin fess-lib-gcs`` 。 + 相关页面 ======== diff --git a/zh-cn/15.9/admin/general-guide.rst b/zh-cn/15.9/admin/general-guide.rst index 19b18173b..9ca634695 100644 --- a/zh-cn/15.9/admin/general-guide.rst +++ b/zh-cn/15.9/admin/general-guide.rst @@ -576,7 +576,7 @@ Google Chat Webhook URLs - **自动**: 根据端点自动判断 - **S3**: Amazon S3 -- **GCS**: Google Cloud Storage +- **GCS**: Google Cloud Storage（需要 ``fess-lib-gcs`` 插件） 存储桶 :::::: diff --git a/zh-cn/15.9/admin/storage-guide.rst b/zh-cn/15.9/admin/storage-guide.rst index e509b5e98..5f1feeb66 100644 --- a/zh-cn/15.9/admin/storage-guide.rst +++ b/zh-cn/15.9/admin/storage-guide.rst @@ -36,6 +36,10 @@ GCS 设置 - 项目ID: Google Cloud 项目 ID - 凭证路径: 服务账户凭据 JSON 文件路径 +.. note:: + Google Cloud Storage 支持由 ``fess-lib-gcs`` 插件提供，该插件不随发行包分发。请从管理 + 界面的「系统 > 插件」页面安装，或执行 ``bin/fess-setup install plugin fess-lib-gcs`` 。 + MinIO（S3 兼容）设置 ~~~~~~~~~~~~~~~~~~~~ diff --git a/zh-cn/15.9/config/crawler-advanced.rst b/zh-cn/15.9/config/crawler-advanced.rst index 1e5823dab..5893132c2 100644 --- a/zh-cn/15.9/config/crawler-advanced.rst +++ b/zh-cn/15.9/config/crawler-advanced.rst @@ -177,7 +177,7 @@ HTTP 爬虫的线程池配置。 - ``http,https`` * - ``crawler.file.protocols`` - 文件爬取协议 - - ``file,smb,smb1,ftp,s3,gcs`` + - ``file,smb,smb1,ftp,s3`` * - ``crawler.crawling.data.encoding`` - 爬取数据编码 - ``UTF-8`` @@ -188,7 +188,7 @@ HTTP 爬虫的线程池配置。 :: crawler.web.protocols=http,https - crawler.file.protocols=file,smb,smb1,ftp,s3,gcs + crawler.file.protocols=file,smb,smb1,ftp,s3 crawler.crawling.data.encoding=UTF-8 环境变量参数 @@ -1048,6 +1048,10 @@ S3 爬虫 GCS 爬虫 -------- +.. note:: + Google Cloud Storage 支持由 ``fess-lib-gcs`` 插件提供，该插件不随发行包分发。请从管理 + 界面的「系统 > 插件」页面安装，或执行 ``bin/fess-setup install plugin fess-lib-gcs`` 。 + 用于爬取 Google Cloud Storage 的配置。 .. list-table:: diff --git a/zh-cn/15.9/dev/plugin-architecture.rst b/zh-cn/15.9/dev/plugin-architecture.rst index 857c19a9d..d9737587a 100644 --- a/zh-cn/15.9/dev/plugin-architecture.rst +++ b/zh-cn/15.9/dev/plugin-architecture.rst @@ -46,6 +46,9 @@ * - 爬虫 - ``fess-crawler-*`` - 扩展爬虫客户端 + * - 库 + - ``fess-lib-*`` + - 提供发行包不包含的第三方客户端及其依赖 插件结构 ======== diff --git a/zh-cn/15.9/install/upgrade.rst b/zh-cn/15.9/install/upgrade.rst index 115d6da58..6dd3ec9ef 100644 --- a/zh-cn/15.9/install/upgrade.rst +++ b/zh-cn/15.9/install/upgrade.rst @@ -457,7 +457,7 @@ Docker 版:: 从 15.8 升级到 15.9 =================== -若从 15.8 升级，以下五项为不向后兼容的变更。 +若从 15.8 升级，以下六项为不向后兼容的变更。 内嵌 OpenSearch 的移除 ---------------------- @@ -490,7 +490,7 @@ Docker）。 ---------------------------------- Playwright 爬虫使用的 Node.js 可执行文件不再包含在发行包中。 -因此 ZIP 从 438.5 MiB 减少到 218.9 MiB。 +因此 ZIP 从 438.5 MiB 减少到 204.7 MiB。 如果爬取配置的设置参数中指定了 Playwright 客户端（例如 ``client.crawlerClients=playwright:http://.*``\ ），请使用以下命令安装 Node.js。 @@ -502,6 +502,23 @@ Playwright 爬虫使用的 Node.js 可执行文件不再包含在发行包中。 如果不使用 Playwright 爬虫，则无需处理。 +Google Cloud Storage 移至插件 +----------------------------- + +Google Cloud Storage 的 SDK 不再包含在发行包中， ``gcs://`` 爬取与 ``gcs`` 存储类型改由 +``fess-lib-gcs`` 插件提供。请从管理界面的「系统 > 插件」页面安装，或执行以下命令。 + +:: + + $ bin/fess-setup install plugin fess-lib-gcs + +``crawler.file.protocols`` 的随附取值中也去掉了 ``gcs``\ ，现为 +``file,smb,smb1,ftp,s3``\ 。安装插件后会重新加入。在此之前，路径以 ``gcs:`` 开头的文件 +爬取配置会因协议无效而被拒绝，存储页面则会报告没有为 ``storage.type=gcs`` 注册客户端。 + +如果不使用 Google Cloud Storage，则无需处理。Amazon S3 以及 MinIO 等兼容 S3 的存储仍在 +发行包中，不受影响。 + 内置脚本引擎由 Groovy 改为 JavaScript ------------------------------------- @@ -527,7 +544,7 @@ Playwright 爬虫使用的 Node.js 可执行文件不再包含在发行包中。 爬取协议 ``storage`` 已删除 --------------------------- -``crawler.file.protocols`` 中不再接受 ``storage`` ，随附的值为 ``file,smb,smb1,ftp,s3,gcs`` 。 +``crawler.file.protocols`` 中不再接受 ``storage`` ，随附的值为 ``file,smb,smb1,ftp,s3`` 。 请改用 ``s3`` ，并将路径以 ``storage:`` 开头的文件爬取配置改为 ``s3:`` 路径。 15.9 特有的迁移工作