Initialize the ggml timer when building sampler

llama-cpp-bindings/Cargo.toml

@@ -24,6 +24,7 @@ thiserror = { workspace = true }
 toktrie = { workspace = true }
 
 [dev-dependencies]
+anyhow = { workspace = true }
 llama-cpp-wrapper-error-fixture = { workspace = true }
 serial_test = { workspace = true }
 

llama-cpp-bindings/src/sampling.rs

@@ -364,6 +364,8 @@ impl LlamaSampler {
         no_perf: bool,
     ) -> Result<Self, SamplingError> {
         unsafe {
+            llama_cpp_bindings_sys::ggml_time_init();
+
             let chain = llama_cpp_bindings_sys::llama_sampler_chain_init(
                 llama_cpp_bindings_sys::llama_sampler_chain_params { no_perf },
             );

llama-cpp-bindings/tests/sampler_chain_without_backend.rs

@@ -0,0 +1,24 @@
+use anyhow::Result;
+use llama_cpp_bindings::sampling::LlamaSampler;
+use llama_cpp_bindings::token::LlamaToken;
+use llama_cpp_bindings::token::data::LlamaTokenData;
+use llama_cpp_bindings::token::data_array::LlamaTokenDataArray;
+
+#[test]
+fn sampler_chain_applies_without_initialized_backend() -> Result<()> {
+    let sampler_chain = LlamaSampler::chain_simple([LlamaSampler::greedy()?])?;
+    let mut candidates = LlamaTokenDataArray::new(
+        vec![
+            LlamaTokenData::new(LlamaToken::new(0), 1.0, 0.0),
+            LlamaTokenData::new(LlamaToken::new(1), 5.0, 0.0),
+            LlamaTokenData::new(LlamaToken::new(2), 3.0, 0.0),
+        ],
+        false,
+    );
+
+    candidates.apply_sampler(&sampler_chain)?;
+
+    assert_eq!(candidates.selected_token(), Some(LlamaToken::new(1)));
+
+    Ok(())
+}