+preprocess_input_data

aclai-lab · Jun 10, 2024 · 599f3a5 · 599f3a5
1 parent c765481
commit 599f3a5
Showing 1 changed file with 17 additions and 0 deletions.
diff --git a/src/core.jl b/src/core.jl
@@ -177,3 +177,20 @@ end
 ############################################################################################
 ############ Utils #########################################################################
 ############################################################################################
+
+function preprocess_inputdata(
+    X::AbstractDataFrame,
+    y;
+    remove_duplicate_rows = false
+)
+    if remove_duplicate_rows
+        allunique(X) && return (X, y)
+        nonunique_ind = nonunique(X)
+        Xy = hcat( X[findall((!).(nonunique_ind)), :],
+                   y[findall((!).(nonunique_ind))]
+        ) |> dropmissing
+    else
+        Xy = hcat(X[:, :], y[:]) |> dropmissing
+    end
+    return Xy[:, 1:(end-1)], Xy[:, end]
+end